メモリ効率の高いループ型Transformer：ループ型言語モデルにおける計算とメモリの分離
ループ型LLMのメモリ消費を大幅に削減する新アーキテクチャ「MELT」が発表されました。
LLM
5569件
LLMの幻覚が現実世界に：存在しない引用文献から大規模な証拠
大規模言語モデル（LLM）が生成する幻覚が、科学論文の引用文献に大規模に浸透していることが判明しました…
厳選された合成データは崩壊しない：多元的選好による生成モデル再学習の理論的研究
生成モデルの再学習において、複数の報酬関数に基づく合成データの厳選がモデルの多様性崩壊を防ぐことが…
SOD：小規模言語モデルエージェント向け段階的オンポリシー蒸留
小規模言語モデルエージェントの推論能力を向上させる新しい蒸留フレームワーク「SOD」が開発されました。
EngGPT2-16B-A3B、イタリア語および国際的なオープンソースLLMとの性能比較
イタリアのエンジニアリング社が開発したLLM「EngGPT2-16B-A3B」が、競合モデルと比較評価されました。
損失が揃う時：効率的な事前学習のための勾配ベース複合損失重み付け
複数の損失項を持つモデルの事前学習において、勾配ベースの手法で損失の重みを効率的に調整する新技術が…
POETS: 計算効率の良いポリシーアンサンブルによる不確実性考慮型LLM最適化
POETSは、計算効率の高いポリシーアンサンブルを用いて、不確実性を考慮したLLM最適化フレームワークです。
言語モデルの「推論」における不確実性の追跡
言語モデルの推論過程で生成される中間トークン列の不確実性を分析し、正解予測に活用する研究が発表され…
特権情報を用いた基盤モデルの学習加速と性能向上：PIQLフレームワーク
特権情報（PI）を統合することで、表形式基盤モデル（TFM）の学習を加速し、汎化性能を向上させるPIQLフレ…
Prune-OPD：長期的推論のための効率的で信頼性の高いオンポリシー蒸留
AIモデルの長期的推論における学習効率と信頼性を向上させる「Prune-OPD」という新しいフレームワークが発…
信頼度を超えて：LLMの性能予測における自己評価の再考
LLMが自己評価する際に、従来の「信頼度」だけでなく、多次元的な評価指標が性能予測に有効であることが示…
GazeVLM：マルチモーダル推論のための内部アテンション制御によるアクティブビジョン
GazeVLMは、人間のようなアクティブビジョンを模倣し、内部アテンション制御で視覚情報を処理する新しいマ…