AGPO: Asymmetric Group Policy Optimization for Verifiable Reasoning and Search Ads Relevance at JD
記事のポイント
📰ニュース
JDがLLMの推論能力を向上させる新手法「AGPO」を発表しました。
🔍注目ポイント
AGPOは、誤った推論経路を抑制しつつ、希少な正しい経路に焦点を当てる非対称強化学習戦略を採用しています。
🔮これからどうなる
LLMの推論精度と多様性が向上し、検索広告の関連性最適化など産業応用で大きな効果が期待されます。
従来の強化学習手法は、LLMの推論能力を向上させる一方で、モデルの探索能力を低下させる問題がありました。
AGPOは、負の報酬を重視して誤りを抑制し、正の報酬ではグループ内の分散に基づいて希少な正しい経路を強化することで、この問題を克服します。
数学ベンチマークでSOTAの精度を達成し、JDの検索広告関連性最適化にも適用され、データアノテーション品質を大幅に向上させました。
AGPOは、負の報酬を重視して誤りを抑制し、正の報酬ではグループ内の分散に基づいて希少な正しい経路を強化することで、この問題を克服します。
数学ベンチマークでSOTAの精度を達成し、JDの検索広告関連性最適化にも適用され、データアノテーション品質を大幅に向上させました。
LLMの推論能力を根本から改善するAGPOは、今後のAI開発に大きな影響を与えそうです。特に、ビジネスにおける意思決定の精度向上に貢献するでしょう。