テキスト生成方法：Transformerにおける言語生成のための異なるデコーディング手法の活用
Transformerモデルを用いたテキスト生成における様々なデコーディング手法が解説されています。
LLM
3247件
TransformersとTokenizersを使って新しい言語モデルをゼロから学習する方法
Hugging FaceがTransformersとTokenizersを用いた言語モデルのスクラッチ学習方法を解説しました。
N
ニューラル言語モデルのスケーリング則
ニューラル言語モデルの性能が、モデルサイズ、データセットサイズ、計算量によってどのように変化するか…
N
深層ダブルディセント
モデルサイズ、データサイズ、訓練時間が増加すると、性能が一度悪化し、その後再び向上する「ダブルディ…
N
GPT-2: 15億パラメータ版の公開
OpenAIがGPT-2の最大モデル（15億パラメータ）をコードと重みと共に公開しました。
N
人間の好みに合わせてGPT-2をファインチューニング
OpenAIがGPT-2を人間のフィードバックでファインチューニングし、人間の好みに合わせた出力を実現しました…
N
GPT-2：6ヶ月後の追跡報告
OpenAIが大規模言語モデルGPT-2の7.74億パラメータ版を公開しました。
N
MicrosoftがOpenAIに投資し、有益なAGI構築を支援
MicrosoftがOpenAIに10億ドルを投資し、AGI開発のためのパートナーシップを締結しました。
N
スパーストランスフォーマーによる生成モデリング
OpenAIが、テキスト・画像・音声の次を予測するスパーストランスフォーマーを開発しました。
N
より優れた言語モデルとその影響
OpenAIが教師なし学習で、一貫性のある文章を生成する大規模言語モデルを開発しました。
N
ロバスト分類における計算限界とウィンウィンの結果
ロバスト分類器の訓練には、従来の分類器よりもはるかに多くの計算資源が必要となることが判明しました。
N
AIトレーニングのスケーリング方法
勾配ノイズスケールという統計指標が、ニューラルネットワーク訓練の並列化可能性を予測することを発見し…