AI倫理

5209件
arXiv cs.AI ★4 AI倫理 EN

厳密な評価なしに査読の自動化を止めるべき

要約を読む要約を閉じる
📰ニュース

大規模言語モデル(LLM)による査読自動化の危険性を指摘する論文が発表されました。

🔍注目ポイント

AI査読者は「集団思考」による意見の偏りや、論文の書き換えで評価が容易に操作される脆弱性があることを実証しました。

🔮これからどうなる

AIによる査読の導入を検討している学術界や出版社は、その信頼性と公平性について再考を迫られるでしょう。

本論文は、ICLR 2026の査読を人間とAIで比較し、AI査読者が過度な意見の一致を示すこと、またLLMで論文を書き換えるだけでAI査読者のスコアが大幅に向上する「論文ロンダリング」が可能であることを明らかにしました。
これは、科学的成果ではなく文体変更で評価が左右されることを意味します。
査読の危機を解決するには、汎用LLMを安易に導入するのではなく、査読自動化の科学的アプローチが必要だと主張しています。
arXiv cs.AI ★4 AI倫理 EN

AIエージェントの安全判断強化:欺瞞的なOODシナリオにおけるベンチマーク書き換えと類推推論

要約を読む要約を閉じる
📰ニュース

LLM搭載エージェントの安全判断能力を評価するため、欺瞞的なリスクを含む新たなベンチマークが開発されました。

🔍注目ポイント

ROMEは既知の危険なシナリオを欺瞞的に書き換え、ARISEは類推推論で推論時の安全判断を向上させます。

🔮これからどうなる

AIエージェントがより安全に、かつ信頼性高く多様な環境で機能するようになり、私たちの生活への導入が加速しそうです。

既存の安全ベンチマークは明示的なリスクに偏っており、モデルが欺瞞的または曖昧な状況を判断する能力を過大評価する可能性がありました。
ROMEは100の危険なシナリオから300の挑戦的なインスタンスを生成し、文脈の曖昧さや暗黙のリスクを評価します。
ARISEは外部の類推ベースから安全な軌跡を検索し、推論時に注入することで判断品質を向上させます。
arXiv cs.AI ★4 AI倫理 EN

密度よりも幾何学:少数ショットによるクロスドメインOOD検出

要約を読む要約を閉じる
📰ニュース

事前学習済み拡散モデルを使い、少数のサンプルで未知のデータ(OOD)を検出する新手法が開発されました。

🔍注目ポイント

拡散モデルのノイズ予測から「パスエネルギー」と「ダイナミクスエネルギー」を抽出し、データ分布の幾何学的特性でOODを識別します。

🔮これからどうなる

医療や自動運転など、安全性重視のAIシステムで、未知の異常を効率的に検知できるようになります。

UFCOD(Unified Framework for Cross-Domain OOD Detection)は、単一のデータセットで学習した拡散モデルを汎用的な特徴抽出器として利用します。
展開時に各タスクで必要なのは約100個のラベルなしIDサンプルのみで、再学習やファインチューニングは不要です。
これにより、既存手法と比較して約500倍のサンプル効率向上を達成し、12のクロスドメインベンチマークで平均93.7%のAUROCを記録しました。
arXiv cs.AI ★4 AI倫理 EN

パラメータを嗜好に置き換え:異種視覚言語モデルの連合アライメント

要約を読む要約を閉じる
📰ニュース

連合学習環境下で、異なるアーキテクチャを持つ視覚言語モデルをプライバシーを保護しつつアライメントする新手法が提案されました。

🔍注目ポイント

パラメータ交換ではなく、各クライアントの嗜好に基づく報酬モデルを統合し、GRPOで基盤モデルを最適化する点が技術的ポイントです。

🔮これからどうなる

医療や金融など機密性の高い分野で、データ共有なしに高性能なAIモデルを安全に利用できるようになります。

従来の連合学習はクライアント間のモデルアーキテクチャの異種性に課題がありましたが、本手法はパラメータやデータ交換なしに嗜好ベースの協調を実現します。
各クライアントはローカルな嗜好アノテーションから報酬モデルを学習し、サーバーはそれらを適応的に融合して基盤VLMを最適化します。
これにより、プライバシーを保護しつつ、汎化性能とクライアント間適応性を向上させます。
arXiv cs.AI ★4 AI倫理 EN

敵対的攻撃下における自律システムのリアルタイム評価

要約を読む要約を閉じる
📰ニュース

実世界の交差点運転データに基づき、自律走行システムの敵対的攻撃に対するロバスト性を評価するフレームワークが開発されました。

🔍注目ポイント

シミュレーションだけでなく実データを用いることで、AIモデルの構造的矛盾や実世界特有のロバスト性への影響を詳細に分析できます。

🔮これからどうなる

自動運転車の安全性と信頼性が向上し、悪意ある攻撃に対する防御策の強化に繋がる可能性があります。

この研究では、MLP、Transformer、GAILを用いた3つの軌道学習モデルを比較し、ADEとFDEで評価しました。
勾配ベースの敵対的摂動を加えて推論時のロバスト性を評価した結果、モデルの構造設計がロバスト性に大きく影響することが判明しました。
攻撃により最大約8メートルの最終変位誤差が発生しています。
arXiv cs.AI ★4 LLM EN

道が分かれる場所:大規模言語モデルにおける倫理的推論の局所的かつ調整された制御

要約を読む要約を閉じる
📰ニュース

LLMの倫理的推論を、特定の倫理的枠組みに沿って制御する新しい手法が開発されました。

🔍注目ポイント

トランスフォーマーブロック内の最小分岐点を特定し、倫理的経路を編集することで、推論時に倫理観を調整できます。

🔮これからどうなる

LLMがより特定の倫理観に基づいて判断できるようになり、信頼性と安全性が向上する可能性があります。

この手法は「Convergent-Divergent Routing」と「Dual Logit Calibration」を組み合わせ、功利主義と義務論の間のバランスをユーザーが調整できるようにします。
実世界の倫理的ジレンマで実験され、既存の手法を上回り、汎用能力を維持しつつ、解釈可能なメカニズムを提供します。
arXiv cs.AI ★4 AI倫理 EN

機械的良心:機械知能の信頼性のための数学的フレームワーク

要約を読む要約を閉じる
📰ニュース

分散型協調知能システムにおける、軌道レベルでの規範的規制を可能にする「機械的良心」という新しい数学的フレームワークが提案されました。

🔍注目ポイント

個々のエージェントの行動ではなく、システム全体の行動軌道にわたる規範からの逸脱を最小限に抑える監督フィルターを定義しています。

🔮これからどうなる

AIシステムの予期せぬリスクを低減し、自動運転や医療AIなど、信頼性が不可欠な分野でのAI導入を加速させる可能性があります。

分散型協調知能(DCI)では、個々のエージェントが正しくても、全体として許容できない行動軌道になるリスクが構造的に避けられません。
既存の手法は個々のアクションの評価に留まっていましたが、このフレームワークは軌道レベルでの規範的許容性を維持し、不確実性も考慮します。
これにより、多エージェントシステムにおける相互作用によるリスクも抑制できます。
arXiv cs.AI ★4 AI倫理 EN

フロンティアAIシステムの目標再考:文脈的多目的最適化

要約を読む要約を閉じる
📰ニュース

フロンティアAIシステムがオープンエンドな設定で信頼性を欠く問題に対し、目標選択の失敗が原因であると指摘する研究が発表されました。

🔍注目ポイント

AIが文脈に応じて複数の目標(有用性、真実性、安全性など)を考慮し、どれを優先するかを決定する「文脈的多目的最適化」という新たなフレームワークを提案しています。

🔮これからどうなる

AIがより複雑で現実世界に近いタスクを安全かつ効果的に実行できるようになり、科学支援や高リスクなアドバイスなどでの信頼性が向上するでしょう。

現在のAIは明確な目標設定下で高性能を発揮しますが、目標が曖昧な状況では性能が低下します。
本研究は、この問題を単なる能力不足ではなく、AIが適切な目標を選択できていないことに起因すると分析しています。
提案されたフレームワークは、目標の分解、文脈に応じた目標ルーティング、階層的制約、熟慮的ポリシー推論などを実装経路として示しています。
arXiv cs.AI ★4 AI倫理 EN

エージェント時代におけるAIレッドチームの再定義:数週間から数時間へ

要約を読む要約を閉じる
📰ニュース

AIシステムに対する脆弱性評価(レッドチーム)を、手作業からAIエージェントによる自動化で大幅に効率化する技術が発表されました。

🔍注目ポイント

オープンソースのDreadnode SDKを基盤とするAIエージェントが、自然言語の指示で攻撃、変換、評価を自動生成し、数週間かかっていた作業を数時間に短縮します。

🔮これからどうなる

AIシステムの安全性とセキュリティ評価が加速し、医療や金融などの重要分野へのAI導入がより安全に進む可能性があります。

現在のAIレッドチームは、攻撃の組み立てや評価に手作業が多く、オペレーターは脆弱性特定よりもワークフロー構築に時間を費やしていました。
このエージェントは45種類以上の攻撃、450種類以上の変換、130種類以上の評価器を統合し、従来のMLモデルから生成AIまで対応します。
Meta Llama Scoutのケーススタディでは、人間がコードを書かずに85%の攻撃成功率を達成しました。
arXiv cs.AI ★4 AI倫理 EN

身体性AIにおける安全性:リスク、攻撃、防御に関する調査

要約を読む要約を閉じる
📰ニュース

身体性AIシステムが直面する安全性リスク、攻撃手法、防御策について包括的な調査が発表されました。

🔍注目ポイント

知覚から行動までの身体性AIパイプライン全体における攻撃と防御を多層的な分類法で整理しています。

🔮これからどうなる

自動運転車や医療ロボットなど、物理的危害に繋がりうるAIの安全性向上に貢献します。

身体性AIは、知覚、認知、計画、相互作用を統合し、現実世界で動作します。
デジタルAIと異なり、不確実な状況下での物理的危害のリスクが高まります。
本調査は400以上の論文を分析し、敵対的攻撃、バックドア、ジェイルブレイク、ハードウェアレベルの攻撃と、それらに対する防御策をまとめています。
arXiv cs.AI ★4 AI倫理 EN

AI医療画像診断における説明可能性のユーザー中心分析

要約を読む要約を閉じる
📰ニュース

AI医療画像診断における最適な説明方法を医師33名を対象にユーザー中心で分析しました。

🔍注目ポイント

バウンディングボックスとレポートの組み合わせが、他のXAI手法よりも理解度、完全性、速度、適用性で高く評価されました。

🔮これからどうなる

医療現場でのAI導入を促進し、医師がAI診断をより信頼し、患者への説明責任を果たす助けになります。

近年、AIは医療分野で大きく進歩していますが、その意思決定プロセスが不明瞭なため、実用化が進んでいません。
本研究では、最新のテキスト、視覚、マルチモーダルなXAI手法を比較分析し、医師の88%がAI診断の説明の重要性を認識していることを示しました。
また、誤ったAI診断を50%の医師が信頼してしまう潜在的な負の影響も指摘されています。
arXiv cs.AI ★4 AI倫理 EN

安全幾何学が崩壊するとき:エージェント型ガードモデルにおけるファインチューニングの脆弱性

要約を読む要約を閉じる
📰ニュース

良性データでのファインチューニングにより、AIガードモデルが安全性を完全に失う脆弱性が発見されました。

🔍注目ポイント

潜在的な安全幾何学の崩壊が原因で、有害・良性の境界が破壊され、安全分類能力が失われることを示しました。

🔮これからどうなる

エージェント型AIの安全対策が不十分になる可能性があり、AIシステムの信頼性や安全性が低下する恐れがあります。

LlamaGuard、WildGuard、Granite Guardianの3つのガードモデルでこの現象を確認。
特にGranite Guardianでは拒否率が85%から0%に低下しました。
この脆弱性は、集中した安全表現が効率的である反面、非常に脆いという「専門化仮説」で説明されています。
対策として、安全サブスペースを積極的に鋭くする新しい正則化手法FW-SSRが提案され、効果が実証されました。