圧縮トランスフォーマーにおける構造的感度：相対誤差伝播と層の削除
Structural Sensitivity in Compressed Transformers: Relative Error Propagation and Layer Removal
記事のポイント
📰ニュース
大規模言語モデルの圧縮時に生じる誤差の伝播メカニズムを解明し、効率的な圧縮戦略を提案しました。
🔍注目ポイント
各層の誤差伝播率「rho」を測定し、誤差が蓄積するメカニズムを特定。これにより、圧縮による性能低下を予測・抑制できます。
🔮これからどうなる
LLMの展開コスト削減と性能維持を両立させ、より多くの企業や開発者が高性能AIを利用できるようになります。
本研究は、1.17億から80億パラメータの6つのトランスフォーマーモデルでrhoを計算し、誤差伝播が表現のドリフトを予測することを発見しました。
また、層内での剪定と層削除の両方において、rhoに基づく戦略が既存手法よりも優れた性能を示しました。
特に、層削除においては、2回の順方向パスで計算されるrhoが、既存手法よりも低いパープレキシティを達成しています。
また、層内での剪定と層削除の両方において、rhoに基づく戦略が既存手法よりも優れた性能を示しました。
特に、層削除においては、2回の順方向パスで計算されるrhoが、既存手法よりも低いパープレキシティを達成しています。
大規模言語モデルの圧縮は、実用化の鍵ですよね。この研究は、どの層をどう圧縮すれば性能を維持できるか、具体的な指針を与えてくれるので、今後のモデル開発に大きな影響を与えそうです。