From History to State: Constant-Context Skill Learning for LLM Agents
記事のポイント
📰ニュース
LLMエージェントが繰り返し行うタスクを効率的に学習する「定数コンテキストスキル学習」が提案されました。
🔍注目ポイント
タスクの履歴をプロンプトではなくモデルの重みに組み込むことで、推論時のプロンプト長を大幅に短縮し、効率を高めます。
🔮これからどうなる
プライバシーを保護しつつ、ローカルLLMエージェントの性能と信頼性が向上し、パーソナルアシスタントの実現に近づきます。
LLMエージェントはブラウザ操作やファイル処理などに利用されますが、クラウドモデルはプライバシー問題、ローカルモデルは性能不足という課題がありました。
この手法は、再利用可能な手順を軽量なモジュールとして学習させ、推論時には現在の観測とコンパクトな状態ブロックのみに依存します。
これにより、ALFWorldなどで高い成功率を達成し、プロンプトトークンを2〜7倍削減しました。
この手法は、再利用可能な手順を軽量なモジュールとして学習させ、推論時には現在の観測とコンパクトな状態ブロックのみに依存します。
これにより、ALFWorldなどで高い成功率を達成し、プロンプトトークンを2〜7倍削減しました。
概要
arXiv:2605.05413v1 Announce Type: new Abstract: Large language model (LLM) agents are increasingly used to operate browsers, files, code and tools, making personal assistants a natural deployment target. Yet personal agents face a privacy-cost-capability tension: cloud models execute multi-step wor…
LLMエージェントがより賢く、プライバシーに配慮したパーソナルアシスタントとして、私たちの生活に溶け込む日も近いかもしれませんね。プロンプトの長さが課題だったので、これは大きな進歩です。