5% 的 GPU 利用率：4010 億美元的 AI 基礎設施問題

VentureBeat 的一項新分析量化了業界長期以來懷疑的情況：企業 GPU 利用率平均僅為 5%，這代表了一個驚人的 4010 億美元 AI 基礎設施問題，企業再也無法負擔忽視它的代價。過去兩年由生成式 AI 熱潮驅動的 GPU 搶購潮，導致了大規模的過度配置，因為組織在一個需求遠超供應的市場中急於確保容量。 現在，帳單到期了。財務長們正以越來越高的強度審視 AI 支出，而這些數字令人警醒。許多企業與雲端供應商簽訂了多年合約來預留 GPU 容量，卻發現其實際使用量僅是他們承諾數量的一小部分。在某些情況下，公司為數千個 GPU 付費，卻只使用了幾十個。浪費的支出不僅是財務上的——它也代表了顯著的環境成本，因為閒置的 GPU 仍在消耗電力。 這個問題源於幾個因素。首先，最初的恐慌性購買導致了基於從未實現的預期需求而膨脹的預留。其次，許多 AI 項目未能從試點階段進入生產階段，導致分配的 GPU 資源未被使用。第三，模型最佳化的快速步伐意味著更新、更高效的模型所需的計算量遠低於最初預期。 VentureBeat 的分析表明，企業必須立即採取行動來優化 GPU 使用。關鍵建議包括實施更好的排程系統，允許跨團隊動態分配 GPU 資源；採用模型壓縮和量化技術以減少計算需求；以及探索共享 GPU 池，讓閒置容量可以被其他部門甚至外部合作夥伴使用。 一些公司已經朝這個方向邁進。主要的雲端供應商已經推出了 GPU 競價實例和可搶佔式虛擬機器，允許企業以大幅折扣存取未使用的容量。與此同時，新創公司正在湧現。