Claw-Eval：自律エージェントの信頼できる評価に向けて
Claw-Eval: Towards Trustworthy Evaluation of Autonomous Agents
記事のポイント
📰ニュース
自律エージェントの評価における既存の課題を解決するため、人間が検証した300のタスクを含む新しい評価スイート「Claw-Eval」が発表されました。
🔍注目ポイント
実行トレース、監査ログ、環境スナップショットの3つの独立した証拠チャネルで記録し、軌跡を意識した採点と安全性・堅牢性の詳細な評価を可能にしています。
🔮これからどうなる
より信頼性が高く、実世界での展開に適した自律エージェントの開発が促進され、企業やユーザーは安心してAIエージェントを利用できるようになります。
Claw-Evalは、一般的なサービスオーケストレーション、マルチモーダルな知覚と対話、複数ターンの専門的対話の9カテゴリにわたる300のタスクで構成されています。
完了度、安全性、堅牢性を評価し、平均スコア、Pass@k、Pass^kを用いて、偶然の成功と真の能力を区別します。
14の最先端モデルでの実験では、従来の評価が安全性違反の44%、堅牢性失敗の13%を見逃していることが判明しました。
完了度、安全性、堅牢性を評価し、平均スコア、Pass@k、Pass^kを用いて、偶然の成功と真の能力を区別します。
14の最先端モデルでの実験では、従来の評価が安全性違反の44%、堅牢性失敗の13%を見逃していることが判明しました。
AIエージェントが実社会で活躍するには、その信頼性が不可欠です。Claw-Evalのような厳格な評価基準は、私たちの生活を支えるAIシステムの安全性を高める上で非常に重要になりそうです。