層剪定された大規模言語モデルの性能低下を決定表現遷移で理解する
大規模言語モデルの層剪定による急激な性能低下のメカニズムが、決定表現の遷移を通じて解明されました。
AI&Tech、もう追いかけなくていい。
30秒で読めるニュースダイジェスト
LLM
3259件
分岐モデル：重み結合ダイナミクスによる集合値解マップの学習
複数の正解を持つ問題に対し、単一の解ではなく解の集合全体を学習する新しいAIモデル「分岐モデル」が提…
Mask2Cause: 隣接制約付き因果アテンションによる因果発見
時系列データから因果関係を直接発見する新しい深層学習フレームワーク「Mask2Cause」が提案されました。
EgoPro-Bench: 一人称視点動画ストリームにおけるパーソナライズされたプロアクティブな対話のベンチマーク
一人称視点動画からユーザーの意図を予測し、先回りして支援するAIの性能を評価する新たなベンチマークが…
MedAction：能動的な多段階臨床診断LLMの実現に向けて
LLMが実際の臨床診断プロセスを模倣し、多段階で能動的に診断を行うための新しい手法が提案されました。
フラックスマッチングによる生成モデリング
新しい生成モデリング手法「フラックスマッチング」が、既存のスコアベースモデルを非保存的なベクトル場…
CSR: 大規模キャッシュ状態表現を用いた無限時間リアルタイムポリシー
ロボットの認知エンジンとして大規模LLMをリアルタイムで活用する際の遅延を大幅に削減する新フレームワー…
LLMポリシー最適化における重要度サンプリングの再考：累積トークン視点
LLMの強化学習後訓練において、累積トークン重要度サンプリング比率を用いる新手法「CTPO」が提案されまし…
Mage: コンパイル成功率を超えたLLM生成実行可能ゲームシーンの多軸評価
LLMが生成したゲームシーンの評価において、コンパイル成功率だけでは不十分であることを示す研究が発表さ…
TTF：効率的なビデオ言語モデルのための時間トークン融合
ビデオ言語モデルの推論コストを削減するため、動画の視覚トークンを効率的に圧縮する新手法「TTF」が提案…
MISA：長文LLM推論のためのインデクサースパースアテンションの混合
長文LLMの推論コストを削減する新しいスパースアテンション手法「MISA」が開発されました。
BalCapRL: RLベースMLLM画像キャプションのためのバランスの取れたフレームワーク
RLベースのMLLM画像キャプションにおいて、複数の評価軸をバランス良く最適化する新しいフレームワーク「B…