GPU利用率仅5%：4010亿美元的AI基础设施问题

VentureBeat的一项新分析量化了业内许多人长期以来的怀疑：企业GPU利用率平均仅为5%，这代表着惊人的4010亿美元AI基础设施问题，企业再也无法忽视。过去两年由生成式AI热潮驱动的GPU抢购潮导致了大规模的过度配置，各组织争相在一个需求远超供应的市场中确保容量。 现在，账单到期了。CFO们正以越来越高的强度审查AI支出，这些数字令人警醒。许多企业与云提供商签订了多年合同预留GPU容量，结果发现实际使用量只是承诺量的一小部分。在某些情况下，公司为数千个GPU付费，却只使用了数十个。浪费的支出不仅是财务上的——它还代表着显著的环境成本，因为闲置的GPU仍在消耗电力。 问题源于几个因素。首先，最初的恐慌性购买导致基于从未实现的预测需求而膨胀的预留。其次，许多AI项目未能从试点转向生产，导致分配的GPU资源闲置。第三，模型优化的快速步伐意味着更新、更高效的模型所需的计算量远低于最初预期。 VentureBeat的分析表明，企业必须立即采取行动优化GPU使用。关键建议包括实施更好的调度系统，允许跨团队动态分配GPU资源；采用模型压缩和量化技术以减少计算需求；以及探索共享GPU池，使闲置容量可以被其他部门甚至外部合作伙伴使用。 一些公司已经在朝这个方向迈进。主要云提供商已经推出了GPU竞价实例和可抢占虚拟机，允许企业以大幅折扣访问未使用的容量。与此同时，初创公司正在涌现，提供GPU编排和优化平台。