言語モデルにおける認識論的観測可能性
主要な大規模言語モデルが、誤った情報を生成する際に最も高い自信を示すことが判明しました。
LLM
2777件
圧縮トランスフォーマーにおける構造的感度：相対誤差伝播と層の削除
大規模言語モデルの圧縮時に生じる誤差の伝播メカニズムを解明し、効率的な圧縮戦略を提案しました。
P^2O: 方策とプロンプトの共同最適化
LLMの推論能力を向上させる「P^2O」という新しい学習手法が開発されました。
ニューラルネットワーク訓練における相転移のスペクトルエッジダイナミクス：分析的・経験的研究
ニューラルネットワークの訓練における相転移現象が、パラメータ更新のグラム行列のスペクトルギャップに…
バイリンガルBabyLMの育成：小規模モデルを用いた多言語習得の研究
小規模なGPT-2モデルを使い、多言語環境での言語習得をシミュレートする研究が行われました。
スクリーニングで十分：新しい言語モデルアーキテクチャ「Multiscreen」
新しい言語モデルアーキテクチャ「Multiscreen」が、従来のTransformerよりも効率的で安定した性能を示し…
MAT-Cell：バッチレベル単一細胞アノテーションのためのマルチエージェントツリー構造推論フレームワーク
MAT-Cellは、LLMとマルチエージェント推論を組み合わせ、単一細胞の自動アノテーション精度を向上させるフ…
報酬スコアマッチング：フロー・拡散モデル向け報酬ベース微調整の統一フレームワーク
フローモデルと拡散モデルの報酬ベース微調整手法を「報酬スコアマッチング（RSM）」という共通フレームワ…
潜在的抽象化による検索拡張生成
単一のLLMが潜在空間内でエンコーディング、検索、生成を統合する新しいRAGフレームワーク「LAnR」が提案…
自己回帰シーケンスモデリングによる患者臨床経過における欠損モダリティの処理と解釈
患者の臨床データにおける欠損モダリティを、自己回帰シーケンスモデリングとLLMの因果デコーダーで処理す…
AIエージェントによる情報集約
AIエージェントが予測市場で取引し、分散した私的情報を集約する能力を実験で検証しました。
共同マルチタスク学習による科学教室の議論分析強化：推論要素分類
AIが科学教室における生徒と教師の発話を自動分析し、推論パターンを分類するシステムが開発されました。