CreativityBench：アフォーダンスに基づくツール再利用によるエージェントの創造的推論評価
CreativityBench: Evaluating Agent Creative Reasoning via Affordance-Based Tool Repurposing
記事のポイント
📰ニュース
LLMの創造的推論能力を評価する新しいベンチマーク「CreativityBench」が発表されました。
🔍注目ポイント
アフォーダンス（物体が提供する可能性）に基づき、非標準的なツールの再利用を評価する点が技術的ポイントです。
🔮これからどうなる
将来のAIエージェントが、より柔軟で創造的な問題解決能力を持つようになるかもしれません。
CreativityBenchは、4Kのエンティティと150K以上のアフォーダンス注釈を含む大規模な知識ベースを構築し、14Kのタスクを生成しました。
既存の10のLLMを評価した結果、モデルは適切な物体を選べても、その部品やアフォーダンス、物理メカニズムの理解に課題があることが判明しました。
モデルの規模拡大やChain-of-Thoughtなどの推論戦略も、創造性の向上には限定的でした。
既存の10のLLMを評価した結果、モデルは適切な物体を選べても、その部品やアフォーダンス、物理メカニズムの理解に課題があることが判明しました。
モデルの規模拡大やChain-of-Thoughtなどの推論戦略も、創造性の向上には限定的でした。
LLMが常識にとらわれず、身の回りにあるものを創造的に活用する能力は、ロボットや自動運転など、現実世界での応用において非常に重要になりそうです。今後の研究で、この創造性のギャップがどう埋まるか注目ですね。