エンコーダー・デコーダーモデルにおける事前学習済み言語モデルチェックポイントの活用
事前学習済みのエンコーダーのみ、またはデコーダーのみのモデルをエンコーダー・デコーダーモデルに変換…
AI&Tech、もう追いかけなくていい。
30秒で読めるニュースダイジェスト
LLM
3258件
fairseq wmt19翻訳システムをTransformersに移植
fairseqのWMT19翻訳システムがHugging FaceのTransformersライブラリに移植されました。
Transformerベースのエンコーダー・デコーダーモデル
Transformerベースのエンコーダー・デコーダーモデルの仕組みと応用が解説されました。
N
OpenAIがGPT-3技術をMicrosoftにライセンス供与
OpenAIが開発した大規模言語モデルGPT-3の技術をMicrosoftにライセンス供与しました。
より小さく高速な言語モデルのためのブロックスパース行列
Hugging Faceが、ブロックスパース行列を活用してLLMのサイズと推論速度を改善する手法を発表しました。
N
自動定理証明のための生成言語モデリング
OpenAIが生成言語モデルを自動定理証明に応用する研究を発表しました。
N
人間のフィードバックで要約を学習する
OpenAIが人間のフィードバックを用いた強化学習で、より優れた要約モデルを開発しました。
Reformer - 言語モデリングの限界を押し広げる
Hugging Faceが、効率的なTransformerモデル「Reformer」を発表しました。
N
ProcgenおよびMineRLコンペティション
OpenAIがNeurIPS 2020でProcgenとMineRLを用いたAIコンペティションを共催します。
N
OpenAI APIのリリース
OpenAIが開発した新しいAIモデルにアクセスするためのAPIが公開されました。
N
言語モデルは少数ショット学習者である
大規模言語モデルが、少数の例から新しいタスクを学習する能力を持つことが示された。
テキスト生成方法：Transformerにおける言語生成のための異なるデコーディング手法の活用
Transformerモデルを用いたテキスト生成における様々なデコーディング手法が解説されています。