なぜ大規模言語モデルはビデオゲームが苦手なのか？
Why Are Large Language Models so Terrible at Video Games?
記事のポイント
ニュース大規模言語モデル（LLM）がビデオゲームのプレイにおいて著しく苦戦している。
注目ポイントLLMはコーディングのような「行儀の良い」タスクには強いが、多様なメカニクスを持つビデオゲームには汎用的な戦略を適用できない。
これからどうなるLLMの汎用的なAIとしての限界が浮き彫りになり、今後のAI開発における課題が明確化される。
LLMは特定のゲームをクリアする事例もあるが、人間よりはるかに遅く、奇妙なミスを繰り返し、専用のソフトウェアが必要となる。
これは、コーディングのように明確な報酬とフィードバックがあるタスクとは異なり、ビデオゲームは入力・出力空間が多様で、ゲームごとに異なるメカニクスを持つためである。
また、学習データとなるガイドの量もゲームによって大きく異なる。
これは、コーディングのように明確な報酬とフィードバックがあるタスクとは異なり、ビデオゲームは入力・出力空間が多様で、ゲームごとに異なるメカニクスを持つためである。
また、学習データとなるガイドの量もゲームによって大きく異なる。
概要
Large language models (LLMs) have improved so quickly that the benchmarks themselves have evolved, adding more complex problems in an effort to challenge the latest models. Yet LLMs haven’t improved across all domains, and one task remains far outside their grasp: They have no idea how to play vide…
LLMの真の汎用性を測る上で、ビデオゲームは重要なベンチマークとなるだろう。今後の研究で、このギャップがどう埋められるかに注目したい。