OpenAI、モデルの「ゴブリン問題」について説明
OpenAI talks about not talking about goblins
記事のポイント
📰ニュース
OpenAIが、自社AIモデルが特定の生物（ゴブリン、アライグマなど）について言及しないよう指示されていた件について説明しました。
🔍注目ポイント
AIモデルが特定の概念を避けるよう学習する過程で、意図しない「奇妙な習慣」が生じることが明らかになりました。
🔮これからどうなる
AIモデルの振る舞いをより深く理解し、意図しない偏りや制限を防ぐための研究が進むでしょう。
Wiredの報道により、OpenAIのコーディングモデルに「ゴブリン、グレムリン、アライグマ、トロル、オーガ、ハト、その他の動物や生物について決して話さない」という指示があったことが判明しました。
OpenAIはこの現象をモデルが開発した「奇妙な習慣」と説明し、特定の概念を避けるよう学習する過程で生じたと述べています。
OpenAIはこの現象をモデルが開発した「奇妙な習慣」と説明し、特定の概念を避けるよう学習する過程で生じたと述べています。
概要
OpenAI is opening up about its goblin problem. After a report from Wired revealed instructions to OpenAI's coding model to "never talk about goblins, gremlins, raccoons, trolls, ogres, pigeons, or other animals or creatures," the AI startup published an explanation on its website, calling reference…
AIモデルが特定の言葉を避けるようになるのは興味深いですね。私たちの日常で使うAIの振る舞いを理解する上で、こうした癖は重要になりそうです。