Xeonで🤗 Optimum IntelによるSetFit推論を爆速化
要約を読む要約を閉じる
Hugging FaceとIntelが協力し、SetFitモデルの推論速度を大幅に向上させました。
Optimum IntelライブラリとIntel Xeonプロセッサの組み合わせにより、推論レイテンシが最大10倍削減されました。
企業や開発者は、より高速かつ効率的にSetFitモデルをデプロイし、コストを削減できます。
Optimum Intelは、Intelハードウェア上でのHugging Faceモデルのパフォーマンスを最適化するライブラリで、ONNX RuntimeとIntel® Extension for PyTorchを活用しています。
この最適化により、リアルタイムアプリケーションでの利用がさらに現実的になります。