Intel GaudiでTGIを活用しLLM推論を高速化
要約を読む要約を閉じる
Hugging FaceがIntel Gaudi上でLLM推論を高速化するTGIの最適化を発表しました。
Hugging FaceのTGIがIntel Gaudi 2プロセッサでLLM推論性能を大幅に向上させました。
企業や開発者は、より低コストで高性能なLLM推論環境を利用できるようになります。
Intel Gaudi 2プロセッサは、AIワークロードに特化したアクセラレータであり、今回の最適化により、特にLlama-70Bのような大規模モデルで高いスループットと低いレイテンシを実現しました。