N
深層ダブルディセント
モデルサイズ、データサイズ、訓練時間が増加すると、性能が一度悪化し、その後再び向上する「ダブルディ…
LLM
3712件
N
GPT-2: 15億パラメータ版の公開
OpenAIがGPT-2の最大モデル（15億パラメータ）をコードと重みと共に公開しました。
N
人間の好みに合わせてGPT-2をファインチューニング
OpenAIがGPT-2を人間のフィードバックでファインチューニングし、人間の好みに合わせた出力を実現しました…
N
GPT-2：6ヶ月後の追跡報告
OpenAIが大規模言語モデルGPT-2の7.74億パラメータ版を公開しました。
N
MicrosoftがOpenAIに投資し、有益なAGI構築を支援
MicrosoftがOpenAIに10億ドルを投資し、AGI開発のためのパートナーシップを締結しました。
N
スパーストランスフォーマーによる生成モデリング
OpenAIが、テキスト・画像・音声の次を予測するスパーストランスフォーマーを開発しました。
N
より優れた言語モデルとその影響
OpenAIが教師なし学習で、一貫性のある文章を生成する大規模言語モデルを開発しました。
N
ロバスト分類における計算限界とウィンウィンの結果
ロバスト分類器の訓練には、従来の分類器よりもはるかに多くの計算資源が必要となることが判明しました。
N
AIトレーニングのスケーリング方法
勾配ノイズスケールという統計指標が、ニューラルネットワーク訓練の並列化可能性を予測することを発見し…
N
予測ベースの報酬による強化学習
OpenAIが予測ベースの報酬手法RNDを開発し、モンテズマの復讐で人間を超える性能を達成しました。
N
FFJORD: スケーラブルな可逆生成モデルのための自由形式連続ダイナミクス
OpenAIが、連続正規化フローモデル「FFJORD」を発表しました。
N
好奇心駆動型学習の大規模研究
AIが未知の環境を探索し、報酬がなくても学習する「好奇心駆動型学習」を大規模に研究しました。