AIの先駆者サットン氏、合成データを「大きな間違い」と指摘
KI-Pioneer Sutton calls synthetic data a "big mistake" in the face of an infinitely complex world
記事のポイント
📰ニュース
チューリング賞受賞者のリチャード・サットン氏が、大規模言語モデルのスケールアップにおける合成データを「大きな間違い」と批判しました。
🔍注目ポイント
無限に複雑な現実世界をシミュレーションした合成データは限定的であり、人間の専門知識がボトルネックとなり真のスケールアップを阻害すると指摘しています。
🔮これからどうなる
AI開発者は、合成データへの依存を見直し、エージェントが自己経験から継続的に学習するアプローチへの転換を迫られるかもしれません。
サットン氏は、現実世界の複雑さは無限であり、いかなるシミュレーションも「微視的」であると主張しています。
彼は、凍結されたモデルに依存するのではなく、エージェントが自身の経験から継続的に学習する手法を代替案として提案しています。
この考え方は、AIの学習方法論に根本的な問いを投げかけるものです。
彼は、凍結されたモデルに依存するのではなく、エージェントが自身の経験から継続的に学習する手法を代替案として提案しています。
この考え方は、AIの学習方法論に根本的な問いを投げかけるものです。
合成データは効率的だと思われていましたが、サットン氏の指摘はAIの学習方法に一石を投じますね。今後のAI開発の方向性に大きな影響を与えそうです。