後学習が大規模言語モデルを人間らしくなくする
Post-training makes large language models less human-like
記事のポイント
📰ニュース
大規模言語モデル（LLM）の後学習プロセスが、人間行動との整合性を低下させることが判明しました。
🔍注目ポイント
後学習はLLMを実用的なアシスタントにする一方で、人間行動の正確なモデルとしては機能しなくなるというトレードオフを示しています。
🔮これからどうなる
LLMを人間行動の代理として利用する心理学や社会科学の研究において、モデル選択や結果解釈に注意が必要になります。
研究者たちは、Psych-201という新しいデータセットを用いて、大規模言語モデルの行動と人間行動の整合性を大規模に測定しました。
その結果、後学習がモデルの種類、サイズ、目的を問わず、一貫して人間行動との整合性を低下させることが明らかになりました。
さらに、新しい世代のモデルでは、ベースモデルが改善されてもこの不整合が拡大する傾向が見られました。
その結果、後学習がモデルの種類、サイズ、目的を問わず、一貫して人間行動との整合性を低下させることが明らかになりました。
さらに、新しい世代のモデルでは、ベースモデルが改善されてもこの不整合が拡大する傾向が見られました。
LLMが人間行動の代理として使われる場面が増えているから、この研究は重要ですね。特に心理学や社会学の分野では、モデルの選択に慎重になる必要がありそうです。