Adam最適化におけるミニバッチノイズが暗黙的バイアスに与える影響
Adam最適化器のミニバッチノイズが、損失関数の鋭い領域と平坦な領域への暗黙的バイアスにどう影響するか…
AI&Tech、もう追いかけなくていい。
30秒で読めるニュースダイジェスト
研究
3323件
ルールベース手法による分子構造と自然言語記述の大規模データセット
分子構造と自然言語記述を対応させる大規模なデータセットが自動生成されました。
TopoPrune：統一された潜在空間トポロジーによる堅牢なデータ剪定
データ剪定手法「TopoPrune」が、潜在空間の摂動に強く、安定した性能を発揮します。
マスターの混合：プレイヤールーティングを備えた疎なチェス言語モデル
チェスの言語モデル「Mixture-of-Masters (MoM)」が、複数の世界クラスのグランドマスターのスタイルを模…
マルチモーダル大規模言語モデルのためのモダリティギャップ駆動型部分空間アライメント学習パラダイム
マルチモーダルAIにおける画像とテキスト表現の「モダリティギャップ」を解消する新しい学習手法が提案さ…
間接的な神経画像観測からの潜在空間における因果関係発見
神経画像データから脳の潜在的な因果関係を直接的に発見する新しいAIモデル「INCAMA」が開発されました。
勾配保存の観点から見たRLVRにおける柔軟なエントロピー制御
LLMの推論能力向上に用いられるRLVRにおいて、エントロピー崩壊を抑制する新しい制御メカニズムが提案され…
VESPO：安定したオフポリシーLLM学習のための変分シーケンスレベルソフト方策最適化
大規模言語モデル（LLM）のオフポリシー強化学習において、高い分散を抑え安定した学習を可能にする新手法…
深層CNNにおけるアーキテクチャトポロジーと学習可能性の関係：有効深度のパラドックス
深層CNNのアーキテクチャトポロジーが画像認識性能と学習可能性にどう影響するかを研究しました。
AdaCorrection：拡散トランスフォーマーのための適応型オフセットキャッシュ補正
拡散トランスフォーマーの画像・動画生成における推論速度を向上させる新手法「AdaCorrection」が発表され…
非凸最適化のための統一フレームワーク：γ-弱θ-アップ凹性
機械学習や組合せ最適化における非凸関数の最適化を統一的に扱う新しいフレームワークが提案されました。
Goldilocks RL：推論のための疎な報酬から脱却するタスク難易度調整
強化学習において、言語モデルの推論能力向上を目的とした新しいデータサンプリング戦略「Goldilocks」が…