活性化の違いがバックドアを暴く：SAEアーキテクチャの比較
Activation Differences Reveal Backdoors: A Comparison of SAE Architectures
記事のポイント
📰ニュース
言語モデルのバックドア攻撃を検出するため、2つのスパースオートエンコーダ（SAE）アーキテクチャが比較評価されました。
🔍注目ポイント
Diff-SAEが、モデルの活性化の方向性シフトを捉えることで、バックドア関連の特徴を高い精度で分離できることが示されました。
🔮これからどうなる
AIモデルの安全性監視が向上し、悪意のあるモデル操作を検出する新たな解釈可能性ツール開発に貢献します。
SQLインジェクションのバックドアを仕込んだ言語モデル（SmolLM2-360M）を使用し、LoRAとフルランクのファインチューニングで評価されました。
Diff-SAEは、Crosscodersと比較してバックドア分離スコアで大幅に優れ、高い精度と低い誤検知率を達成しました。
この結果は、バックドアがスパースな特徴活性化ではなく、方向性のある活性化シフトとして現れることを示唆しています。
Diff-SAEは、Crosscodersと比較してバックドア分離スコアで大幅に優れ、高い精度と低い誤検知率を達成しました。
この結果は、バックドアがスパースな特徴活性化ではなく、方向性のある活性化シフトとして現れることを示唆しています。
言語モデルのバックドア検出に画期的な手法が登場しましたね。Diff-SAEは、AIの安全性を高める上で非常に重要な技術になりそうです。私たちの日常で使うAIの信頼性向上に繋がるでしょう。