GoogleのDiffusionGemma、テキスト拡散モデルはゼロから学習不要と証明
Google's DiffusionGemma proves you don't need to train from scratch to build a text diffusion model
記事のポイント
📰ニュース
Google DeepMindが既存のGemma 4を改造し、テキスト拡散モデル「DiffusionGemma」を開発しました。
🔍注目ポイント
元の学習予算の10%未満で既存モデルを再利用し、毎秒1,500トークンで並列生成を実現しました。
🔮これからどうなる
既存の高性能LLMを効率的に拡散モデルへ転用する道を開き、開発コストと時間を大幅に削減します。
DiffusionGemmaは、Gemma 4をゼロから学習する代わりに改造して作られました。
これにより、256トークンを並列生成でき、従来の逐次生成モデルより高速です。
ただし、推論タスクなどでは元の自己回帰モデルに品質が劣る点も指摘されています。
これにより、256トークンを並列生成でき、従来の逐次生成モデルより高速です。
ただし、推論タスクなどでは元の自己回帰モデルに品質が劣る点も指摘されています。
既存の強力なLLMを再利用して新しいモデルを作るのは賢いですね。開発コストが抑えられれば、より多くの企業が革新的なAIプロダクトを市場に出せそうです。