OpenAI、SWE-bench Verifiedの評価を中止する理由
要約を読む要約を閉じる
OpenAIが、コード生成モデルの評価ベンチマーク「SWE-bench Verified」の使用を中止すると発表しました。
SWE-bench Verifiedはテストの欠陥や学習データ漏洩により、フロンティアモデルの進捗を正確に測れないと指摘されています。
AIによるコード生成モデルの性能評価基準が変わり、より信頼性の高いベンチマークへの移行が促されます。
これにより、モデルが実際には問題を解決していないにもかかわらず、高スコアを出す可能性がありました。
OpenAIは代替として「SWE-bench Pro」の使用を推奨しています。