PyTorch / XLA TPU上でのHugging Face
Hugging FaceがPyTorch/XLA TPU上で動作し、大規模モデルの学習を効率化。
LLM
2747件
N
大規模言語モデルの能力、限界、社会的影響を理解する
OpenAIが大規模言語モデル（LLM）の能力、限界、社会的影響について解説しました。
DeepSpeedとFairScaleのZeROでより多くのモデルをより速く学習
ZeRO技術を活用することで、大規模モデルの学習効率とメモリ使用量を大幅に改善しました。
Hugging Face API顧客向けにTransformer推論を100倍高速化した方法
Hugging FaceがAPI顧客向けにTransformerモデルの推論速度を最大100倍高速化しました。
N
CLIP: テキストと画像を接続する
OpenAIが自然言語から視覚概念を学習するニューラルネットワーク「CLIP」を発表しました。
エンコーダー・デコーダーモデルにおける事前学習済み言語モデルチェックポイントの活用
事前学習済みのエンコーダーのみ、またはデコーダーのみのモデルをエンコーダー・デコーダーモデルに変換…
fairseq wmt19翻訳システムをTransformersに移植
fairseqのWMT19翻訳システムがHugging FaceのTransformersライブラリに移植されました。
Transformerベースのエンコーダー・デコーダーモデル
Transformerベースのエンコーダー・デコーダーモデルの仕組みと応用が解説されました。
N
OpenAIがGPT-3技術をMicrosoftにライセンス供与
OpenAIが開発した大規模言語モデルGPT-3の技術をMicrosoftにライセンス供与しました。
より小さく高速な言語モデルのためのブロックスパース行列
Hugging Faceが、ブロックスパース行列を活用してLLMのサイズと推論速度を改善する手法を発表しました。
N
自動定理証明のための生成言語モデリング
OpenAIが生成言語モデルを自動定理証明に応用する研究を発表しました。
N
人間のフィードバックで要約を学習する
OpenAIが人間のフィードバックを用いた強化学習で、より優れた要約モデルを開発しました。