Hugging Face Reads, 2021年2月 - 長距離トランスフォーマー
Hugging Faceが長距離トランスフォーマーに関する重要な研究論文を解説しました。
AI&Tech、もう追いかけなくていい。
30秒で読めるニュースダイジェスト
最新ニュース
6762件
N
人工ニューラルネットワークにおけるマルチモーダルニューロン
OpenAIのCLIPモデルで、同じ概念を異なる形式（文字、記号、概念）で認識するニューロンが発見されました。
高度なニューラルネットワークを構築する際のシンプルな考慮事項
Hugging Faceが、AI開発における倫理的・社会的な影響を考慮する重要性を強調しました。
Huggingface TransformersとRayによるRetrieval Augmented Generation（RAG）
Huggingface TransformersとRayを使って、RAGシステムを構築・スケーリングする方法が紹介されました。
PyTorch / XLA TPU上でのHugging Face
Hugging FaceがPyTorch/XLA TPU上で動作し、大規模モデルの学習を効率化。
N
大規模言語モデルの能力、限界、社会的影響を理解する
OpenAIが大規模言語モデル（LLM）の能力、限界、社会的影響について解説しました。
Hugging Face TransformersにおけるTensorFlowモデルの高速化
Hugging Face TransformersでTensorFlowモデルの推論速度が向上しました。
N
Kubernetesを7,500ノードにスケール
OpenAIがKubernetesクラスターを7,500ノードに拡張することに成功しました。
DeepSpeedとFairScaleのZeROでより多くのモデルをより速く学習
ZeRO技術を活用することで、大規模モデルの学習効率とメモリ使用量を大幅に改善しました。
Hugging Face API顧客向けにTransformer推論を100倍高速化した方法
Hugging FaceがAPI顧客向けにTransformerモデルの推論速度を最大100倍高速化しました。
N
DALL·E: テキストから画像を生成
OpenAIがテキストキャプションから画像を生成するニューラルネットワーク「DALL·E」を発表しました。
N
CLIP: テキストと画像を接続する
OpenAIが自然言語から視覚概念を学習するニューラルネットワーク「CLIP」を発表しました。