Reformer - 言語モデリングの限界を押し広げる
Hugging Faceが、効率的なTransformerモデル「Reformer」を発表しました。
研究
2716件
N
ProcgenおよびMineRLコンペティション
OpenAIがNeurIPS 2020でProcgenとMineRLを用いたAIコンペティションを共催します。
N
Image GPT
OpenAIが言語モデルと同じTransformerで画像を生成・補完できることを発見しました。
N
言語モデルは少数ショット学習者である
大規模言語モデルが、少数の例から新しいタスクを学習する能力を持つことが示された。
N
AIと効率性
2012年以降、ImageNet分類におけるニューラルネットの学習に必要な計算量が大幅に減少していることが判明…
N
Jukebox
OpenAIが、音楽と歌声を生成するニューラルネット「Jukebox」を発表しました。
N
AI開発における検証可能性の向上
AIシステムの安全性などに関する主張の検証可能性を高める10のメカニズムをまとめた報告書が発表されまし…
N
OpenAI Microscope
OpenAIが、画像認識モデルの内部構造を可視化するツール「Microscope」を公開しました。
テキスト生成方法：Transformerにおける言語生成のための異なるデコーディング手法の活用
Transformerモデルを用いたテキスト生成における様々なデコーディング手法が解説されています。
TransformersとTokenizersを使って新しい言語モデルをゼロから学習する方法
Hugging FaceがTransformersとTokenizersを用いた言語モデルのスクラッチ学習方法を解説しました。
N
OpenAIがPyTorchを標準化
OpenAIが深層学習フレームワークとしてPyTorchを標準採用することを発表しました。
N
ニューラル言語モデルのスケーリング則
ニューラル言語モデルの性能が、モデルサイズ、データセットサイズ、計算量によってどのように変化するか…