Normalized Architectures are Natively 4-Bit
nGPTという正規化されたLLMアーキテクチャが、4ビット精度で安定して学習できることが示されました。
AI&Tech、もう追いかけなくていい。
30秒で読めるニュースダイジェスト
LLM
3289件
Milestone-Guided Policy Learning for Long-Horizon Language Agents
長期間にわたる複雑なタスクをこなす言語エージェントの学習効率を大幅に向上させる新フレームワーク「BEA…
VISD: Enhancing Video Reasoning via Structured Self-Distillation
動画理解LLMの推論能力を向上させる「VISD」という新しい学習フレームワークが発表されました。
Beyond Autoregressive RTG: Conditioning via Injection Outside Sequential Modeling in Decision Transformer
Decision TransformerのRTGをシーケンスから外し、状態表現に注入する「SlimDT」が提案されました。
Schedule-and-Calibrate: Utility-Guided Multi-Task Reinforcement Learning for Code LLMs
コードLLM向けに、タスクの有用性に基づいた強化学習フレームワーク「ASTOR」が開発されました。
Listwise Policy Optimization: Group-based RLVR as Target-Projection on the LLM Response Simplex
LLMの推論能力向上に向け、リストワイズ方策最適化（LPO）という新しい強化学習手法が提案されました。
IRC-Bench: Recognizing Entities from Contextual Cues in First-Person Reminiscences
個人が過去を語る際に間接的に言及するエンティティを認識するベンチマーク「IRC-Bench」が発表されました…
HNC：微細な視覚言語理解能力を持つモデルに向けたハードネガティブキャプションの活用
画像とテキストの不一致を検出するモデルの性能を向上させる新しいデータセット「HNC」が提案されました。
スーパーレベルセット回帰：体積最小化による条件付き分位点
多変量回帰において、条件付きカバレッジを満たす最小体積の予測領域を直接構築する新しい数学的フレーム…
FunctionalAgent：エンドツーエンドのオン・トップ機能設計に向けて
FunctionalAgentは、強相関分子系の電子エネルギー計算に用いるオン・トップ汎関数を自動開発するエージェ…
TIDE: 各層がコンテキスト下のトークンを知る
LLMの各層にトークンインデックスを再注入する新手法「TIDE」が提案されました。
記憶の始まり：LLMを操るための潜在空間KVキャッシュ操作
LLMの振る舞いを制御する新しい手法「Memory Inception（MI）」が開発されました。