Revealing Modular Gradient Noise Imbalance in LLMs: Calibrating Adam via Signal-to-Noise Ratio
LLMの学習において、モジュールごとの勾配ノイズの不均衡をAdamオプティマイザが適切に処理できない課題が…
AI&Tech、もう追いかけなくていい。
30秒で読めるニュースダイジェスト
LLM
3287件
LCC-LLM: Leveraging Code-Centric Large Language Models for Malware Attribution
コード中心のLLM「LCC-LLM」がマルウェア分析と属性特定に活用されました。
A Testable Certificate for Constant Collapse in Teacher-Guided VAEs
VAEにおける「定数崩壊」という特定の失敗モードを検出し、その発生を証明する手法が提案されました。
LeakDojo: Decoding the Leakage Threats of RAG Systems
RAGシステムにおける情報漏洩の脅威を評価するフレームワーク「LeakDojo」が発表されました。
LoopTrap: Termination Poisoning Attacks on LLM Agents
LLMエージェントがタスク完了を誤認し、無限ループに陥る「Termination Poisoning」攻撃が発見されました。
VideoRouter: Query-Adaptive Dual Routing for Efficient Long-Video Understanding
長尺動画の効率的な理解のため、クエリ適応型デュアルルーティングフレームワーク「VideoRouter」が発表さ…
SOPE: Stabilizing Off-Policy Evaluation for Online RL with Prior Data
SOPEは、オンライン強化学習において事前データ活用時のオフライン学習期間を自動調整する新アルゴリズム…
CITE: Anytime-Valid Statistical Inference in LLM Self-Consistency
LLMの自己整合性における統計的推論を、いつでも有効に制御する新手法が提案されました。
Logic-Regularized Verifier Elicits Reasoning from LLMs
LLMの推論能力を向上させる、論理規則で正規化された教師なし検証器「LOVER」が開発されました。
Architecture-agnostic Lipschitz-constant Bayesian header and its application to resolve semantically proximal classification errors with vision transformers
Vision Transformerの分類誤差を解決する、新しいベイズヘッダーが開発されました。
Quantum-enhanced Large Language Models on Quantum Hardware via Cayley Unitary Adapters
量子ハードウェア上で量子回路をLLMに組み込み、Llama 3.1 8Bの性能を向上させました。
LLM-Driven Design Space Exploration of FPGA-based Accelerators
LLMがFPGAベースのAIアクセラレータ設計空間探索を自動化するフレームワークが発表されました。