インターネット経由の深層学習：言語モデルの協調学習
インターネット上で分散されたデバイスが協力して大規模言語モデルを学習する新しいフレームワークが発表…
AI&Tech、もう追いかけなくていい。
30秒で読めるニュースダイジェスト
研究
4532件
N
コードで訓練された大規模言語モデルの評価
OpenAIがコードで訓練された大規模言語モデルの評価方法と課題について解説しています。
N
厳選されたデータセットでの学習による言語モデルの振る舞いの改善
OpenAIが厳選された小規模データセットでファインチューニングすることで、言語モデルの特定の振る舞いを…
Hugging FaceモデルとGradio 2.0の活用と組み合わせ
Hugging FaceモデルをGradio 2.0で簡単に利用・組み合わせる方法が紹介されました。
N
OpenAI Scholars 2021: 最終プロジェクト
OpenAI Scholars 2021プログラムの参加者が6ヶ月のメンターシップを終え、オープンソースの研究プロジェク…
CPU上でのBERT推論のスケーリングアップ（パート1）
Hugging FaceがCPU上でのBERT推論を高速化する手法について解説しました。
🤗 Accelerateの紹介
Hugging Faceが大規模モデルの分散学習を簡素化するライブラリ「Accelerate」を発表しました。
分散学習：Hugging Face TransformersとAmazon SageMakerでBART/T5を要約タスク向けに学習
Hugging Face TransformersとAmazon SageMakerを使い、BART/T5モデルを分散学習で要約タスク向けに効率的…
BigBirdのブロックスパースアテンションを理解する
BigBirdモデルが、Transformerの二次計算量を線形に削減するブロックスパースアテンションメカニズムを採…
Hugging Faceで🤗 Transformersを使って英語ASR向けにWav2Vec2をファインチューニング
Hugging Faceが提供するWav2Vec2モデルを英語の自動音声認識（ASR）タスク向けにファインチューニングする…
Hugging Face Reads, 2021年2月 - 長距離トランスフォーマー
Hugging Faceが長距離トランスフォーマーに関する重要な研究論文を解説しました。
N
人工ニューラルネットワークにおけるマルチモーダルニューロン
OpenAIのCLIPモデルで、同じ概念を異なる形式（文字、記号、概念）で認識するニューロンが発見されました。