The Granularity Axis: A Micro-to-Macro Latent Direction for Social Roles in Language Models
記事のポイント
📰ニュース
LLMが社会的な役割の粒度を内部表現として持っていることを発見しました。
🔍注目ポイント
LLMの隠れ状態に「粒度軸」が存在し、個人の視点から組織の視点までを表現します。
🔮これからどうなる
LLMがより複雑な社会役割を理解し、多様な視点での応答生成が可能になります。
研究では、Qwen3-8Bモデルで粒度軸が役割表現空間の主軸と強く一致し、分散の52.6%を説明することを示しました。
この軸はLlama-3.1-8B-Instructにも転移し、アクティベーションステアリングによって応答の粒度を操作できることも確認されました。
これにより、LLMが単なる表面的なスタイルではなく、構造化された潜在的な方向性を持つことが示唆されています。
この軸はLlama-3.1-8B-Instructにも転移し、アクティベーションステアリングによって応答の粒度を操作できることも確認されました。
これにより、LLMが単なる表面的なスタイルではなく、構造化された潜在的な方向性を持つことが示唆されています。
LLMが社会的な役割の粒度を内部で区別しているのは驚きですね。これにより、AIがより人間らしい視点や組織の視点での情報提供ができるようになりそうです。