タイミング調整でLLM学習のエネルギー消費を最大14%削減
Timing Trick Cuts Energy Used in LLM Training by Up to 14 Percent
記事のポイント
📰ニュース
オランダの研究グループが、GPUのクロック周波数を調整する新技術でLLM学習のエネルギー消費を最大14%削減しました。
🔍注目ポイント
GPUのコアとメモリのクロック周波数を動的に、かつ微細な時間スケールで調整するDVFS技術をLLM学習に適用した点が技術的ポイントです。
🔮これからどうなる
LLM開発企業は学習コストを削減でき、環境負荷の低減にも貢献し、より高性能なモデル開発を促進する可能性があります。
GPT-4の学習には推定50ギガワット時もの電力が消費されたとされ、LLMのエネルギー消費は大きな課題です。
この研究は、GPUの計算負荷に応じてコアとメモリのクロック周波数を個別に、かつカーネルレベルで最適化することで、速度を犠牲にせずに電力効率を向上させました。
従来のDVFSはイテレーション単位での調整でしたが、今回はより短い時間スケールでの調整に成功しています。
この研究は、GPUの計算負荷に応じてコアとメモリのクロック周波数を個別に、かつカーネルレベルで最適化することで、速度を犠牲にせずに電力効率を向上させました。
従来のDVFSはイテレーション単位での調整でしたが、今回はより短い時間スケールでの調整に成功しています。
概要
OpenAI’s fourth large language model (LLM), GPT-4, took an estimated 50 Gigawatt-hours to train, or the equivalent of 5,000 American homes‘ yearly power consumption. That was in 2023. Since then, the computational resources used to train frontier LLMs have only increased, though direct power usage …
LLMの学習コストは膨大なので、この14%削減はかなり大きいですね。環境にも優しいし、今後のAI開発の電力問題に一石を投じそうです。