Leviathan: 言語モデルにおける入力と出力表現の分離
Leviathan: Decoupling Input and Output Representations in Language Models
記事のポイント
📰ニュース
言語モデルの入力埋め込みと出力射影を分離する新しいTransformerアーキテクチャ「Leviathan」が発表されました。
🔍注目ポイント
入力埋め込みに「学習済み埋め込みベクトル化（LEV）」を導入し、出力ヘッドを分離することで、パラメータ増加を抑えつつ性能を向上させます。
🔮これからどうなる
言語モデルの性能が向上し、特に希少な単語の処理能力が大幅に改善されるため、より正確で多様なテキスト生成が可能になります。
現代の言語モデルは入力と出力に単一の行列を使用し、トークン表現と語彙判別という異なる目的を結合しています。
Leviathanはこの結合を解消し、1.2Bパラメータ規模で検証パープレキシティを9%削減、学習トークン数を2.1倍削減しました。
希少なトークンでのパープレキシティは81%も減少しています。
Leviathanはこの結合を解消し、1.2Bパラメータ規模で検証パープレキシティを9%削減、学習トークン数を2.1倍削減しました。
希少なトークンでのパープレキシティは81%も減少しています。
言語モデルの基礎的な部分に革新的な変更が加えられましたね。特に希少な単語の処理能力向上は、より自然で多様な文章生成に繋がり、私たちの日常的なコミュニケーションにも良い影響を与えそうです。