同じ言葉でも異なる判断：モダリティ間で選好がどう異なるか
Same Words, Different Judgments: How Preferences Vary Across Modalities
記事のポイント
📰ニュース
人間とAIの選好アライメントにおいて、テキストと音声で評価基準が大きく異なることが判明しました。
🔍注目ポイント
同一内容でも音声評価はテキストより狭い判断基準を持ち、長さバイアスが少なく、ユーザー志向が強いことが示されました。
🔮これからどうなる
音声AIシステムの評価プロトコルはテキストから直接流用できず、モダリティ固有の設計が必要になるでしょう。
選好ベース強化学習（PbRL）はAIを人間選好に合わせる主要なフレームワークですが、評価プロトコルはテキスト向けに設計されていました。
本研究は、テキストと音声で同一のセマンティックコンテンツを比較する初のクロスモーダル研究です。
合成評価が人間評価の予測に有効であることも示されました。
本研究は、テキストと音声で同一のセマンティックコンテンツを比較する初のクロスモーダル研究です。
合成評価が人間評価の予測に有効であることも示されました。
音声AIの評価はテキストとは別物と考える必要がありそうです。特に、音声アシスタントや対話型AIのユーザー体験設計に大きな影響を与えそうですね。