人間の好みを学習する
Learning from human preferences
記事のポイント
📰ニュース
AIが人間の望む行動を、2つの選択肢からより良い方を選ぶだけで学習するアルゴリズムが開発されました。
🔍注目ポイント
複雑な目標関数を人間が記述する手間を省き、人間の選好から直接AIの行動を最適化する技術です。
🔮これからどうなる
AIが人間の意図をより正確に理解し、望ましくない、あるいは危険な行動を減らすことに貢献します。
AIシステムを安全に構築するためには、人間が目標関数を記述する必要性をなくすことが重要です。
複雑な目標を単純な代理で表現したり、目標設定を少し間違えたりすると、望ましくない、時には危険な行動につながる可能性があるためです。
OpenAIはDeepMindの安全チームと協力し、この課題に取り組んでいます。
複雑な目標を単純な代理で表現したり、目標設定を少し間違えたりすると、望ましくない、時には危険な行動につながる可能性があるためです。
OpenAIはDeepMindの安全チームと協力し、この課題に取り組んでいます。
概要
One step towards building safe AI systems is to remove the need for humans to write goal functions, since using a simple proxy for a complex goal, or getting the complex goal a bit wrong, can lead to undesirable and even dangerous behavior. In collaboration with DeepMind’s safety team, we’ve develo…
人間が直接目標関数を書かなくても、AIが「どっちが良い？」って聞くだけで学習してくれるのはすごいよね！これでAIの安全性がもっと高まるかもね。