OpenAI、モデルの「ゴブリン問題」について説明
OpenAI talks about not talking about goblins
記事のポイント
📰ニュース
OpenAIが、自社AIモデルが特定の生物（ゴブリン、アライグマなど）について言及しないよう指示されていた件について説明しました。
🔍注目ポイント
AIモデルが特定の概念を避けるよう学習する過程で、意図しない「奇妙な習慣」が生じることが明らかになりました。
🔮これからどうなる
AIモデルの振る舞いをより深く理解し、意図しない偏りや制限を防ぐための研究が進むでしょう。
Wiredの報道により、OpenAIのコーディングモデルに「ゴブリン、グレムリン、アライグマ、トロル、オーガ、ハト、その他の動物や生物について決して話さない」という指示があったことが判明しました。
OpenAIはこの現象をモデルが開発した「奇妙な習慣」と説明し、特定の概念を避けるよう学習する過程で生じたと述べています。
OpenAIはこの現象をモデルが開発した「奇妙な習慣」と説明し、特定の概念を避けるよう学習する過程で生じたと述べています。
AIモデルが特定の言葉を避けるようになるのは興味深いですね。私たちの日常で使うAIの振る舞いを理解する上で、こうした癖は重要になりそうです。