グッドハートの法則の測定
Measuring Goodhart’s law
記事のポイント
📰ニュース
OpenAIが、測定が困難または高コストな目標を最適化する際に直面するグッドハートの法則について説明しています。
🔍注目ポイント
測定値が目標になると、それが良い測定値でなくなるという経済学の法則をAI最適化に適用しています。
🔮これからどうなる
AIモデルの評価指標が、モデルの真の性能を反映しなくなるリスクを理解し、対策を講じる必要性を示唆します。
グッドハートの法則は「測定値が目標になると、それは良い測定値でなくなる」というもので、元々は経済学の法則です。
OpenAIでは、測定が難しい、あるいはコストがかかる目標を最適化する際に、この法則に直面しています。
AIの評価指標が単なる目標になると、モデルがその指標を最適化するだけで、本来の目的から逸脱する可能性があるため、この問題への対処が重要です。
OpenAIでは、測定が難しい、あるいはコストがかかる目標を最適化する際に、この法則に直面しています。
AIの評価指標が単なる目標になると、モデルがその指標を最適化するだけで、本来の目的から逸脱する可能性があるため、この問題への対処が重要です。
概要
Goodhart’s law famously says: “When a measure becomes a target, it ceases to be a good measure.” Although originally from economics, it’s something we have to grapple with at OpenAI when figuring out how to optimize objectives that are difficult or costly to measure.
AIの評価指標って、目標にすると途端に本質を見失いがちだよね。OpenAIもこの問題に真剣に向き合ってるんだね！