Hugging Faceのtransformers、accelerate、bitsandbytesを用いた大規模Transformer向け8ビット行列乗算のやさしい入門
大規模Transformerモデルのメモリ効率を大幅に向上させる8ビット行列乗算が導入されました。
LLM
2756件
Sentence Transformersモデルの訓練とファインチューニング
Hugging FaceがSentence Transformersモデルの訓練とファインチューニングに関するガイドを公開しました。
Nyströmformer: Nyström法による線形時間・メモリでの自己注意近似
Transformerの自己注意メカニズムをNyström法で近似し、計算量とメモリ使用量を線形に削減しました。
N
言語モデルの「穴埋め」効率的なトレーニング
OpenAIが、テキストの途中の欠落部分を埋める言語モデルの効率的なトレーニング手法を発表しました。
TensorFlowとXLAによる高速なテキスト生成
TensorFlowとXLAを組み合わせることで、テキスト生成の速度が大幅に向上しました。
N
コード合成大規模言語モデルのためのハザード分析フレームワーク
OpenAIがコード合成LLMの潜在的な危険性を評価するハザード分析フレームワークを公開しました。
Advantage Actor Critic (A2C)
強化学習アルゴリズムであるA2Cは、Actor-Critic手法を効率化したものです。
敵対的データを用いてモデルを動的に訓練する方法
敵対的データを使ってモデルを動的に訓練する手法が紹介されました。
BLOOMトレーニングの裏側にある技術
大規模言語モデルBLOOMのトレーニングに使われた技術的詳細が公開されました。
世界最大のオープン多言語モデル「BLOOM」を発表
Hugging Faceが世界最大のオープン多言語大規模言語モデル「BLOOM」を発表しました。
Twitterセンチメント分析入門
Hugging FaceのTransformersライブラリと事前学習済みモデルを使って、Twitterデータのセンチメント分析を…
DeepSpeedを活用した大規模モデルトレーニングの高速化
Hugging Face AccelerateがDeepSpeedとの統合を強化し、大規模モデルのトレーニングを高速化しました。