Megatron-LMで言語モデルを訓練する方法
Hugging FaceがMegatron-LMを使った大規模言語モデルの訓練方法を解説しました。
LLM
3719件
N
アライメント研究へのアプローチ
OpenAIは、AIシステムが人間からのフィードバックから学習し、AI評価を支援する能力を向上させています。
Hugging Face TransformersとHabana GaudiでBERTを事前学習
Hugging Face TransformersライブラリとHabana Gaudiアクセラレータを用いてBERTモデルの事前学習が効率的…
Hugging Faceのtransformers、accelerate、bitsandbytesを用いた大規模Transformer向け8ビット行列乗算のやさしい入門
大規模Transformerモデルのメモリ効率を大幅に向上させる8ビット行列乗算が導入されました。
Sentence Transformersモデルの訓練とファインチューニング
Hugging FaceがSentence Transformersモデルの訓練とファインチューニングに関するガイドを公開しました。
Nyströmformer: Nyström法による線形時間・メモリでの自己注意近似
Transformerの自己注意メカニズムをNyström法で近似し、計算量とメモリ使用量を線形に削減しました。
N
言語モデルの「穴埋め」効率的なトレーニング
OpenAIが、テキストの途中の欠落部分を埋める言語モデルの効率的なトレーニング手法を発表しました。
TensorFlowとXLAによる高速なテキスト生成
TensorFlowとXLAを組み合わせることで、テキスト生成の速度が大幅に向上しました。
N
コード合成大規模言語モデルのためのハザード分析フレームワーク
OpenAIがコード合成LLMの潜在的な危険性を評価するハザード分析フレームワークを公開しました。
Advantage Actor Critic (A2C)
強化学習アルゴリズムであるA2Cは、Actor-Critic手法を効率化したものです。
敵対的データを用いてモデルを動的に訓練する方法
敵対的データを使ってモデルを動的に訓練する手法が紹介されました。
BLOOMトレーニングの裏側にある技術
大規模言語モデルBLOOMのトレーニングに使われた技術的詳細が公開されました。