MEMSAD:検索拡張エージェントにおけるメモリポイズニングに対する勾配結合型異常検知
要約を読む要約を閉じる
LLMエージェントの外部メモリに対するメモリポイズニング攻撃を形式化し、新たな防御手法「MEMSAD」を提案しました。
MEMSADは、異常スコア勾配と検索目的勾配が同一であるという定理に基づき、検出リスクを減らす摂動が検索性能を低下させることを証明し、認定された検出半径を提供します。
LLMエージェントのセキュリティが向上し、悪意のある情報による誤った応答や行動のリスクが低減され、より信頼性の高いAIシステムが構築されそうです。
既存の評価プロトコルの不整合を修正し、攻撃成功率が最大4倍に増加することを示しました。
MEMSADは、勾配結合定理に基づき、連続的な摂動に対する検出保証を提供し、ミニマックス最適性も証明されています。
実験では、複合防御がすべての攻撃に対して高い真陽性率と低い偽陽性率を達成する一方で、同義語置換攻撃には既存の埋め込みベースの防御が対応できないギャップがあることも明らかにしました。