TransformersとRay Tuneによるハイパーパラメータ探索
Hugging Face TransformersとRay Tuneを組み合わせた効率的なハイパーパラメータ探索手法が紹介されました…
AI&Tech、もう追いかけなくていい。
30秒で読めるニュースダイジェスト
研究
2242件
Transformerベースのエンコーダー・デコーダーモデル
Transformerベースのエンコーダー・デコーダーモデルの仕組みと応用が解説されました。
より小さく高速な言語モデルのためのブロックスパース行列
Hugging Faceが、ブロックスパース行列を活用してLLMのサイズと推論速度を改善する手法を発表しました。
N
自動定理証明のための生成言語モデリング
OpenAIが生成言語モデルを自動定理証明に応用する研究を発表しました。
N
人間のフィードバックで要約を学習する
OpenAIが人間のフィードバックを用いた強化学習で、より優れた要約モデルを開発しました。
N
OpenAI Scholars 2020: 最終プロジェクト
OpenAI Scholars 2020の参加者が5ヶ月間の研究成果を発表しました。
Reformer - 言語モデリングの限界を押し広げる
Hugging Faceが、効率的なTransformerモデル「Reformer」を発表しました。
N
ProcgenおよびMineRLコンペティション
OpenAIがNeurIPS 2020でProcgenとMineRLを用いたAIコンペティションを共催します。
N
Image GPT
OpenAIが言語モデルと同じTransformerで画像を生成・補完できることを発見しました。
N
言語モデルは少数ショット学習者である
大規模言語モデルが、少数の例から新しいタスクを学習する能力を持つことが示された。
N
AIと効率性
2012年以降、ImageNet分類におけるニューラルネットの学習に必要な計算量が大幅に減少していることが判明…
N
Jukebox
OpenAIが、音楽と歌声を生成するニューラルネット「Jukebox」を発表しました。