セキュリティ

1943件
OpenAI Blog ★4 AI倫理 EN

OpenAIサイバーセキュリティ助成プログラム

要約を読む要約を閉じる
📰ニュース

OpenAIがAIを活用したサイバーセキュリティ能力開発を支援する助成プログラムを開始しました。

🔍注目ポイント

AIの力を活用し、サイバー攻撃者ではなく防御側の能力を向上させることに特化しています。

🔮これからどうなる

サイバーセキュリティの専門家がAIツールを開発しやすくなり、デジタル世界の安全性が向上する可能性があります。

このプログラムは、AIがサイバーセキュリティ分野で防御側に貢献できる可能性に着目しています。
助成金やその他の支援を通じて、AIを活用した新しいセキュリティツールの開発を促進し、サイバー脅威に対する防御力を強化することを目指しています。
Hugging Face Blog ★4 セキュリティ EN

Safetensorsが監査で本当に安全と確認され、デフォルトに

要約を読む要約を閉じる
📰ニュース

Hugging FaceがSafetensors形式のセキュリティ監査結果を公開し、安全性が確認されました。

🔍注目ポイント

悪意のあるコード実行を防ぐ設計が評価され、PyTorchのデフォルト形式に代わる安全な選択肢として推奨されます。

🔮これからどうなる

AIモデルの共有・利用がより安全になり、悪意あるコードのリスクが大幅に低減されます。

Safetensorsは、モデルの重みのみを保存し、任意のコード実行を不可能にするように設計されたシリアライズ形式です。
以前のPyTorchのpickle形式は、モデルファイル内に悪意のあるコードを埋め込むことが可能で、セキュリティ上の懸念がありました。
今回の監査により、Safetensorsの設計が意図通りに機能していることが証明されました。
OpenAI Blog ★3 セキュリティ EN

OpenAIのバグ報奨金プログラムを発表

要約を読む要約を閉じる
📰ニュース

OpenAIがセキュリティ強化のため、バグ報奨金プログラムを開始しました。

🔍注目ポイント

外部のセキュリティ研究者からの脆弱性報告に対し、報奨金を支払うことで安全なAI開発を促進します。

🔮これからどうなる

ユーザーはより安全で信頼性の高いOpenAIのAI技術を利用できるようになります。

このプログラムは、HackerOneと提携して実施され、脆弱性の深刻度に応じて報奨金が支払われます。
OpenAIは、安全で信頼できるAI技術とサービスを開発するというコミットメントの一環として、この取り組みを重要視しています。
OpenAI Blog ★4 セキュリティ EN

3月20日のChatGPT障害:何が起きたのか

要約を読む要約を閉じる
📰ニュース

3月20日に発生したChatGPTの障害について、OpenAIが原因と対策を公表しました。

🔍注目ポイント

ユーザーの支払い情報が一部のユーザーに誤って表示されるバグが原因でした。

🔮これからどうなる

個人情報流出の可能性があり、ユーザーは自身の情報が漏洩していないか確認が必要です。

このバグは、オープンソースライブラリのRedis-pyクライアントの競合状態によって発生しました。
キャンセルされたリクエストが誤ったデータを返す可能性があり、その結果、一部のユーザーのチャット履歴や支払い情報が他のユーザーに表示される事態となりました。
OpenAIは迅速に修正を行い、再発防止策を講じています。
Hugging Face Blog ★4 研究 EN

準同型暗号を用いた暗号化データに対する感情分析

要約を読む要約を閉じる
📰ニュース

暗号化されたデータに対して、復号せずに感情分析を実行する技術が開発されました。

🔍注目ポイント

準同型暗号を利用することで、データの内容を秘匿したままAIによる分析を可能にしています。

🔮これからどうなる

プライバシー保護が重要な分野で、機密データを安全に分析・活用できるようになります。

この技術は、Hugging FaceのTransformersライブラリとMicrosoft SEALライブラリを組み合わせて実現されました。
ユーザーの感情データを暗号化したまま分析できるため、医療や金融など、個人情報保護が厳格な業界での応用が期待されます。
これにより、データの有用性を損なわずにプライバシーを強化できます。
OpenAI Blog ★4 研究 EN

予期せぬ敵対者に対する堅牢性のテスト

要約を読む要約を閉じる
📰ニュース

OpenAIが、訓練時に見られなかった敵対的攻撃に対するニューラルネットワークの堅牢性を評価する新しい手法を開発しました。

🔍注目ポイント

UAR(Unforeseen Attack Robustness)という新しい指標を導入し、単一モデルの予期せぬ攻撃への堅牢性を測定します。

🔮これからどうなる

AIモデルのセキュリティと信頼性が向上し、より多様な未知の脅威に対する防御策の必要性が明確になります。

この手法は、訓練データに含まれない敵対的攻撃に対するモデルの防御能力を評価することを目的としています。
従来の堅牢性評価では、既知の攻撃に対する性能が重視されていましたが、UARは未知の攻撃への対応能力を測ることで、より実用的なセキュリティ評価を可能にします。
OpenAI Blog ★4 研究 EN

摂動タイプ間の敵対的ロバストネスの転移

要約を読む要約を閉じる
📰ニュース

OpenAIの研究者が、異なる摂動タイプ間で敵対的ロバストネスが転移する現象を発見しました。

🔍注目ポイント

特定の摂動で訓練されたモデルが、訓練されていない別の摂動に対してもロバストネスを示すことを明らかにしました。

🔮これからどうなる

より汎用性の高い敵対的ロバストネスを持つAIモデルの開発に繋がり、AIの安全性向上に貢献します。

敵対的摂動は、AIモデルを誤分類させるために設計された微小な入力変更です。
これまで、モデルは特定の摂動タイプに対してのみロバストネスを持つと考えられていましたが、本研究は異なる摂動タイプ間でのロバストネスの転移可能性を示唆しています。
これは、より効率的なロバストネス訓練方法の開発に繋がる可能性があります。
OpenAI Blog ★4 AI倫理 EN

AIの悪用への備え

要約を読む要約を閉じる
📰ニュース

AI技術の悪用方法と、その脅威を防ぎ軽減する方法を予測する論文が発表されました。

🔍注目ポイント

AIの悪用シナリオを具体的に予測し、多分野の専門家と協力して対策を検討している点が重要です。

🔮これからどうなる

AI開発者や政策立案者が、AIの潜在的なリスクを理解し、安全な開発と利用のためのガイドライン策定に役立ちます。

OpenAIがFuture of Humanity Instituteなど複数の機関と共同で執筆したこの論文は、約1年間の継続的な研究の成果です。
AIの悪用がもたらす可能性のある脅威を事前に特定し、それに対する予防策と緩和策を提示することで、AIの安全な発展を目指しています。
OpenAI Blog ★4 研究 EN

堅牢な敵対的入力

要約を読む要約を閉じる
📰ニュース

OpenAIが様々な視点やスケールから見てもAIを騙せる画像を開発しました。

🔍注目ポイント

複数の視点からでもAIを欺く、より汎用性の高い敵対的サンプル生成技術が示されました。

🔮これからどうなる

自動運転車など、多角的な視覚情報を用いるAIシステムのセキュリティリスクが高まる可能性があります。

これは、先週「自動運転車は複数のスケールや角度から画像を捉えるため、悪意を持って騙すのは難しい」という主張があったことへの反論です。
OpenAIの研究は、AIの堅牢性に関する既存の認識に疑問を投げかけるものです。
OpenAI Blog ★4 AI倫理 EN

敵対的サンプルによる機械学習への攻撃

要約を読む要約を閉じる
📰ニュース

機械学習モデルを誤動作させるよう意図的に設計された入力「敵対的サンプル」について解説。

🔍注目ポイント

人間には正常に見えるが、AIには誤認識させる入力を作成する技術がポイント。

🔮これからどうなる

AIシステムの信頼性が低下し、自動運転やセキュリティなど重要分野での誤作動リスクが高まる。

敵対的サンプルは、機械学習モデルに対する一種の錯覚を引き起こす入力です。
攻撃者はこのサンプルを設計し、モデルに意図しない間違いを犯させます。
この現象は様々な媒体で確認されており、システムを敵対的サンプルから保護することが難しい理由についても議論されています。
OpenAI Blog ★4 AI倫理 EN

ニューラルネットワークポリシーに対する敵対的攻撃

要約を読む要約を閉じる
📰ニュース

AIが制御するシステムが、人間には知覚できない小さな摂動によって誤動作する脆弱性が発見されました。

🔍注目ポイント

AIモデルの入力に微細なノイズを加えることで、モデルの意思決定を意図的に誤らせる技術が示されました。

🔮これからどうなる

自動運転車やロボットなど、AIが物理世界を制御するシステムにセキュリティ上のリスクをもたらします。

敵対的攻撃は、AIモデルの予測を意図的に誤らせるために設計された、人間にはほとんど知覚できない入力の変更です。
OpenAIの研究では、強化学習によって訓練されたニューラルネットワークポリシーが、このような攻撃に対して脆弱であることが示されました。
これは、AIシステムの信頼性と安全性を確保する上で重要な課題となります。