セキュリティ

1946件
OpenAI Blog ★4 AI倫理 EN

敵対的サンプルによる機械学習への攻撃

要約を読む要約を閉じる
📰ニュース

機械学習モデルを誤動作させるよう意図的に設計された入力「敵対的サンプル」について解説。

🔍注目ポイント

人間には正常に見えるが、AIには誤認識させる入力を作成する技術がポイント。

🔮これからどうなる

AIシステムの信頼性が低下し、自動運転やセキュリティなど重要分野での誤作動リスクが高まる。

敵対的サンプルは、機械学習モデルに対する一種の錯覚を引き起こす入力です。
攻撃者はこのサンプルを設計し、モデルに意図しない間違いを犯させます。
この現象は様々な媒体で確認されており、システムを敵対的サンプルから保護することが難しい理由についても議論されています。
OpenAI Blog ★4 AI倫理 EN

ニューラルネットワークポリシーに対する敵対的攻撃

要約を読む要約を閉じる
📰ニュース

AIが制御するシステムが、人間には知覚できない小さな摂動によって誤動作する脆弱性が発見されました。

🔍注目ポイント

AIモデルの入力に微細なノイズを加えることで、モデルの意思決定を意図的に誤らせる技術が示されました。

🔮これからどうなる

自動運転車やロボットなど、AIが物理世界を制御するシステムにセキュリティ上のリスクをもたらします。

敵対的攻撃は、AIモデルの予測を意図的に誤らせるために設計された、人間にはほとんど知覚できない入力の変更です。
OpenAIの研究では、強化学習によって訓練されたニューラルネットワークポリシーが、このような攻撃に対して脆弱であることが示されました。
これは、AIシステムの信頼性と安全性を確保する上で重要な課題となります。