GPU使用率5%：4010億ドルのAIインフラ問題

VentureBeatの新たな分析により、業界内で長く疑われていたことが数値化された。エンタープライズのGPU使用率は平均わずか5%であり、これは企業がもはや無視できない驚くべき4010億ドル規模のAIインフラ問題を表している。生成AIブームに牽引された過去2年間のGPU争奪戦は、需要が供給をはるかに上回る市場で組織が容量を確保しようと殺到した結果、大規模な過剰プロビジョニングを引き起こした。 今、その請求が到来している。CFOはAI支出をかつてないほど厳しく精査しており、その数字は厳しい現実を突きつけている。多くの企業はクラウドプロバイダーと複数年にわたる契約でGPU容量を予約したものの、実際の使用量は契約した容量のほんの一部に過ぎないことが判明した。場合によっては、企業は数千のGPUに対して支払いをしながら、数十しか使用していない。無駄な支出は金銭的なものだけではない。アイドル状態のGPUが電力を消費し続けるため、これは重大な環境コストも表している。 この問題はいくつかの要因に起因する。第一に、当初のパニック買いにより、実現しなかった予測ニーズに基づいた過大な予約が発生した。第二に、多くのAIプロジェクトがパイロット段階から本番環境に移行できず、割り当てられたGPUリソースが未使用のままになった。第三に、モデル最適化の急速な進歩により、より新しく効率的なモデルは当初予想よりもはるかに少ない計算能力しか必要としない。 VentureBeatの分析は、企業がGPU使用率を最適化するために直ちに行動を起こさなければならないと示唆している。主な推奨事項には、チーム間でのGPUリソースの動的割り当てを可能にするより良いスケジューリングシステムの導入、計算要件を削減するためのモデル圧縮と量子化技術の採用、そしてアイドル容量を他の部門や外部パートナーが使用できる共有GPUプールの探求が含まれる。 一部の企業はすでにこの方向に動き始めている。主要なクラウドプロバイダーは、企業が未使用容量を大幅な割引で利用できるGPUスポットインスタンスやプリエンプティブルVMを導入している。一方、スタートアップ企業も登場している。