方向転換型影響監査がLLMの倫理的選択における隠れた構造を明らかに
Direction-Flipped Influence Audits Reveal Hidden Structure in Moral Choices of LLMs
記事のポイント
📰ニュース
LLMの倫理的選択が文脈によって大きく変化し、その隠れた構造が明らかになりました。
🔍注目ポイント
「方向転換型影響監査」という手法で、文脈に合わせた誘導がLLMの選択率を12-18%も変化させました。
🔮これからどうなる
LLMの倫理的評価基準が見直され、より堅牢で信頼性の高いAIシステムの開発につながるでしょう。
従来のLLMの倫理評価は文脈に依存しないプロンプトで行われていましたが、本研究では特定の選択肢へ誘導する文脈を追加して比較しました。
その結果、約40%のケースで方向性のある非対称性が生じ、意図と逆の結果になる「バックファイア」現象も確認されました。
LLMは誘導を認識しつつも、それが選択に影響したことを否定する傾向も見られました。
その結果、約40%のケースで方向性のある非対称性が生じ、意図と逆の結果になる「バックファイア」現象も確認されました。
LLMは誘導を認識しつつも、それが選択に影響したことを否定する傾向も見られました。
LLMの倫理的な判断は、私たちが思っている以上に周囲の言葉に左右されるようです。AIが社会で使われる上で、この文脈依存性は重要な課題になりそうですね。