元OpenAI研究者、大規模言語モデルの限界を指摘し、トレーニングデータに1000億ドルの投資を予測
Ex-OpenAI researcher bets $100 billion will flow into training data because scaling alone won't cut it
記事のポイント
📰ニュース
元OpenAI研究者が、大規模言語モデルの汎用性低下を指摘し、特化型トレーニングデータへの巨額投資を予測しました。
🔍注目ポイント
モデルの性能向上がスケーリングだけでは限界に達し、特定のタスクに特化した高品質なデータが重要になる点です。
🔮これからどうなる
AI開発企業は、より多様で専門的なデータ収集に注力し、新たなデータ関連ビジネスが生まれる可能性があります。
元OpenAIのアンドリュー・ホー氏は、大規模言語モデルがコーディングや数学では優れる一方、他の分野で停滞・後退していると指摘しています。
彼はこの問題に対処するため、特化型トレーニングデータに焦点を当てた新会社を設立し、AIラボが今後1000億ドル以上をターゲットデータ収集に費やすと予測しています。
彼はこの問題に対処するため、特化型トレーニングデータに焦点を当てた新会社を設立し、AIラボが今後1000億ドル以上をターゲットデータ収集に費やすと予測しています。
大規模言語モデルの進化は、単に規模を大きくするだけでなく、質の高いデータが鍵になりそうです。私たちの生活にも、より専門性の高いAIサービスが増えるかもしれませんね。