LoopTrap: Termination Poisoning Attacks on LLM Agents
記事のポイント
📰ニュース
LLMエージェントがタスク完了を誤認し、無限ループに陥る「Termination Poisoning」攻撃が発見されました。
🔍注目ポイント
悪意あるプロンプトでエージェントの終了判断を歪め、計算を無制限に継続させる攻撃手法が特定されました。
🔮これからどうなる
LLMエージェントの運用コスト増大やサービス停止リスクが高まり、利用者の信頼性にも影響が出そうです。
LLMエージェントは反復的な実行ループでタスクを解決しますが、この自己判断機能が悪用されます。
研究では10種類の攻撃戦略を設計し、8つのLLMエージェントと60のタスクで実証しました。
LoopTrapという自動レッドチームフレームワークも開発され、平均3.57倍、最大25倍のステップ増幅を達成しています。
研究では10種類の攻撃戦略を設計し、8つのLLMエージェントと60のタスクで実証しました。
LoopTrapという自動レッドチームフレームワークも開発され、平均3.57倍、最大25倍のステップ増幅を達成しています。
LLMエージェントの自律性が裏目に出る、興味深い脆弱性ですね。この攻撃はクラウド利用料金に直接影響を与える可能性があり、企業は対策を急ぐ必要がありそうです。