大規模協調型マルチエージェント学習のための降下誘導型方策勾配
マルチエージェント強化学習において、エージェント数の増加に伴う学習の不安定性を解決する新手法が提案…
LLM
5548件
KVバインディングによるテスト時学習は線形アテンションだった
KVバインディングを用いたテスト時学習（TTT）が、実は線形アテンションの一種であることが判明しました。
S2O: オンライン順列によるスパースアテンションの早期停止
S2Oは、オンライン順列と早期停止により、大規模言語モデルのスパースアテンション効率を大幅に向上させま…
MICA：長期的感情サポート対話のための多粒度時間間隔信用割り当て
LLMが多ターン感情サポート対話で効果的に機能する新しい強化学習フレームワーク「MICA」が開発されました…
プロンプトと応答間の相互情報量を最大化することで、追加データや人間の監視なしにLLMのパーソナライゼーションを改善
LLMが追加データや人間の監視なしに、プロンプトと応答間の相互情報量を最大化することで自己改善する手法…
順列合意リストワイズ評価による堅牢な事実性評価
LLMの評価における候補順序の不安定性を解決するため、複数の順序で評価し結果を集約する新手法「PCFJudge…
TCM-Serve: マルチモーダル大規模言語モデル推論のためのモダリティ認識スケジューリング
マルチモーダルLLMの推論において、異なるデータタイプ（テキスト、画像、動画）の処理を効率化する新しい…
ベルマン不動点を超えて：価値反復における幾何学と高速な方策特定
Q-価値反復（Q-VI）が最適方策を特定するまでの時間を、幾何学的な視点から分析する新しい研究が発表され…
SparKV: オンデバイスLLM推論のためのオーバーヘッドを考慮したKVキャッシュ読み込み
オンデバイスLLMの推論効率を向上させるため、KVキャッシュの読み込みを最適化するフレームワーク「SparKV…
Transformerにおけるアーキテクチャ的観測可能性の崩壊
Transformerモデル内部の意思決定品質を監視する「観測可能性」が、特定のアーキテクチャで崩壊することが…
幻影から確実な基盤へ：マルチモーダル回路図からVerilogコード生成の信頼性向上
マルチモーダルLLMが回路図からVerilogコードを生成する際の「幻影」現象を特定し、その解決策を提案しま…
脱獄された最先端モデルは能力を維持する
最先端の言語モデルは、複雑な脱獄手法を用いてもその性能がほとんど低下しないことが判明しました。