LLMサービスにおけるアテンション/FFN比率の理論的に最適な設定
Theoretically Optimal Attention/FFN Ratios in Disaggregated LLM Serving
記事のポイント
📰ニュース
LLM推論の分散アーキテクチャにおいて、アテンションとFFNの最適なリソース比率を決定する分析フレームワークが開発されました。
🔍注目ポイント
KVキャッシュの成長やリクエストの変動といった確率的ワークロード下で、最適なアテンション/FFN比率を導き出す閉形式の平均場ルールを提案しています。
🔮これからどうなる
LLMサービスプロバイダーは、リソースの無駄を削減し、推論スループットを最大化することで、より効率的なサービス提供が可能になります。
このフレームワークは、アテンションとFFNの計算を分離するAFDアーキテクチャを対象としています。
リクエストのプロンプト長やデコード長のランダム性、およびワーカー間の同期オーバーヘッドを考慮し、単一のワークロード統計量「θ」を用いて最適な比率を決定します。
シミュレーションにより、予測された最適比率がシミュレーション最適値と10%以内で一致することが確認されました。
リクエストのプロンプト長やデコード長のランダム性、およびワーカー間の同期オーバーヘッドを考慮し、単一のワークロード統計量「θ」を用いて最適な比率を決定します。
シミュレーションにより、予測された最適比率がシミュレーション最適値と10%以内で一致することが確認されました。
LLMの推論コストは大きな課題なので、この研究はサービス提供の効率を大幅に改善する可能性を秘めていますね。クラウド上のLLM利用料金にも影響しそうです。