ついにBERTの後継が登場：ModernBERTの紹介
Hugging Faceが、GoogleのBERTを上回る性能を持つ新しい言語モデル「ModernBERT」を発表しました。
研究
2730件
Bamba: 推論効率の高いハイブリッドMamba2モデル
Mamba2をベースにした推論効率の高いハイブリッドモデル「Bamba」が発表されました。
合成データジェネレーターの紹介 - 自然言語でデータセットを構築
Hugging Faceが自然言語でデータセットを生成できる「Synthetic Data Generator」を発表しました。
LeMaterial：材料発見と研究を加速するオープンソースイニシアチブ
Hugging Faceが材料科学分野のオープンソースAIプロジェクト「LeMaterial」を発表しました。
Hugging Faceコミュニティによるテキストから画像生成のためのオープンな選好データセット
Hugging Faceコミュニティがテキストから画像を生成するモデルの評価に用いるオープンな選好データセット…
Googleが新しいビジョン言語モデル「PaliGemma 2」を発表
Googleが画像とテキストを理解する新しいビジョン言語モデル「PaliGemma 2」を公開しました。
LLMは間違いをどの程度修正できるか？KerasとTPUを用いたチャットボットアリーナ実験
LLMが自身の誤りを修正する能力について、KerasとTPUを用いたチャットボットアリーナで実験が行われました…
3C3HによるLLM評価の再考：AraGenベンチマークとリーダーボード
Hugging FaceがLLMの評価を再考する新しいベンチマーク「AraGen」とリーダーボードを発表しました。
パフォーマンスへの投資：LLMの洞察で小型モデルをファインチューニング - CFM事例研究
Hugging FaceがLLMの洞察を活用し、小型モデルの性能を向上させる手法を発表しました。
SmolVLM - 小さくても強力な視覚言語モデル
Hugging Faceが、小型ながら高性能な視覚言語モデル「SmolVLM」を発表しました。
最先端のTransformer位置エンコーディングを自分で設計できた可能性
Transformerモデルにおける位置エンコーディングの重要性と、その設計原理について解説されています。
N
人とAIによるレッドチーム活動の進展
OpenAIがAIの安全性向上のため、人とAIを組み合わせたレッドチーム活動の重要性を強調しました。