KL for a KL: 制御変量ベースラインを用いたオンポリシー蒸留
大規模言語モデルのオンポリシー蒸留（OPD）の学習を安定させる新しい手法「vOPD」が提案されました。
AI&Tech、もう追いかけなくていい。
30秒で読めるニュースダイジェスト
LLM
3260件
深層ネットワークにおけるスペクトルダイナミクス：特徴学習、外れ値からの脱却、学習率転送
深層ニューラルネットワークの学習過程における隠れ層の重みスペクトルの進化を理論的に解析しました。
動画理解報酬モデリング：堅牢なベンチマークと高性能な報酬モデル
動画理解の報酬モデル開発を促進するため、新しいベンチマークと大規模なデータセットが発表されました。
ストリーミング動画理解のための意味認識型適応的視覚記憶
ストリーミング動画をリアルタイムで理解するAIモデルが、効率的な記憶管理と高い精度を両立する新フレー…
CoCoReviewBench：AI査読者の完全性と正確性に着目したベンチマーク
AI査読システムの評価における課題を解決するため、完全性と正確性を重視した新たなベンチマーク「CoCoRev…
「軌跡を教師に」：エネルギー誘導蒸留による少数ステップ離散フローマッチング
離散フローマッチングモデルの推論を高速化する新しい蒸留手法が開発されました。
計画はどこに？軽量な機械的介入で言語モデルの潜在的計画を特定する
言語モデルが将来のトークンを計画する内部表現をどこで形成し、それが生成を因果的に駆動するかを研究し…
大規模言語モデルにおけるツール呼び出しの線形可読性と操作性
LLMが選択するツールがモデル内部で線形に読み取り可能かつ操作可能であることが判明しました。
ペアを超えて：言語モデルは密かに選好グラフを最適化している
言語モデルの調整手法であるDPOを、ペア比較だけでなく、より複雑な選好グラフ構造に対応させるGraphDPOが…
高速バイト潜在トランスフォーマー
バイトレベル言語モデルの生成速度を大幅に向上させる新しいトレーニングと生成技術が開発されました。
CA-SQL: 複雑度認識型推論時間推論によるText-to-SQL
LLMが自然言語からSQLクエリを生成するText-to-SQLタスクにおいて、CA-SQLが困難な問題で高い性能を達成し…
記憶の呪い：LLMエージェントにおける記憶拡張が協力意図を損なう仕組み
LLMエージェントの記憶（コンテキストウィンドウ）を拡張すると、複数エージェント間の協力行動が低下する…