Intel® Gaudi® 2 AIアクセラレーター上でのテキスト生成パイプライン
要約を読む要約を閉じる
Hugging FaceがIntel Gaudi 2 AIアクセラレーターでテキスト生成パイプラインを最適化し、高いパフォーマンスを実現しました。
Gaudi 2のMatrix Multiplication EngineとTensor Processorsを効率的に活用し、推論速度を向上させています。
Intel Gaudi 2ユーザーは、より高速でコスト効率の良い大規模言語モデルの推論が可能になります。
この最適化により、ユーザーはGaudi 2のハードウェアを最大限に活用し、より効率的なAIアプリケーション開発が可能になります。
具体的なモデルとしてLlama 2などが挙げられています。