クロスアテンションとエンコーダー・デコーダー型トランスフォーマーの論理的特性評価
エンコーダー・デコーダー型トランスフォーマーの動作を新しい時相論理で特性評価する研究が発表されまし…
研究
2725件
AIネイティブ大規模アジャイルソフトウェア開発マニフェスト
AIを主要な参加者とする大規模アジャイルソフトウェア開発の新しい原則と価値観が提唱されました。
長文コンテキスト推論のためのCPU-GPU並列処理による効率的なハイブリッド疎行列アテンション
長文コンテキスト推論において、CPUとGPUを連携させ、効率的な疎行列アテンションを実現する新手法「Fluxi…
メモリ効率の高いループ型Transformer：ループ型言語モデルにおける計算とメモリの分離
ループ型LLMのメモリ消費を大幅に削減する新アーキテクチャ「MELT」が発表されました。
LLMの幻覚が現実世界に：存在しない引用文献から大規模な証拠
大規模言語モデル（LLM）が生成する幻覚が、科学論文の引用文献に大規模に浸透していることが判明しました…
厳選された合成データは崩壊しない：多元的選好による生成モデル再学習の理論的研究
生成モデルの再学習において、複数の報酬関数に基づく合成データの厳選がモデルの多様性崩壊を防ぐことが…
SOD：小規模言語モデルエージェント向け段階的オンポリシー蒸留
小規模言語モデルエージェントの推論能力を向上させる新しい蒸留フレームワーク「SOD」が開発されました。
ドリフティング・フィールド・ポリシー：ワッサースタイン勾配フローによるワンステップ生成ポリシー
ドリフティング・フィールド・ポリシー（DFP）という、非ODEベースのワンステップ生成ポリシーが提案され…
EngGPT2-16B-A3B、イタリア語および国際的なオープンソースLLMとの性能比較
イタリアのエンジニアリング社が開発したLLM「EngGPT2-16B-A3B」が、競合モデルと比較評価されました。
Ping2Hexアプローチを用いたトラック積載貨物輸送におけるインテリジェントなトラックマッチング
GPSデータが欠損・破損している場合でも、機械学習でトラックと貨物のマッチング精度を向上させました。
トレンド前の「Vibeコーディング」：AIツールが学生の学習に与える影響
2025年初頭に実施された学生向けAIコーディングチャレンジで、AIツールが学習者の思考やスキルに与える影…
損失が揃う時：効率的な事前学習のための勾配ベース複合損失重み付け
複数の損失項を持つモデルの事前学習において、勾配ベースの手法で損失の重みを効率的に調整する新技術が…