时序技巧将大语言模型训练能耗降低高达14%

研究人员发现了一种简单而有效的时序优化方法，可将大语言模型训练过程中的能耗降低高达14%。这一发现正值前沿AI模型的能源需求日益受到环保倡导者和监管机构关注的关键时刻。该技术涉及调整训练过程中计算任务的调度安排。通过精心安排某些操作的执行时机，研究人员能够最大限度地减少空闲时间，并降低训练硬件的整体功耗。这种优化不需要对底层模型架构或训练算法进行任何更改，因此易于在现有工作流程中实施。AI训练中的能效问题已成为一个紧迫的关切。训练单个大型模型所消耗的电量相当于数百户家庭一年的用电量。随着各家公司竞相构建规模越来越大的模型，累积的环境影响十分显著。这种新的时序技巧提供了一种实用且低成本的方式来减轻部分影响。研究人员在几种流行的模型架构上测试了他们的方法，发现能耗均得到了一致降低。14%的降幅尤其引人注目，因为它没有以牺牲模型性能或训练速度为代价。事实上，在某些情况下，优化后的调度反而略微提升了吞吐量。行业专家对这一发现表示欢迎，并指出当这种效率提升在主要AI实验室进行的数千次训练运行中规模化应用时，会产生巨大的效果。如果得到广泛采用，该技术每年可节省数百万千瓦时的电力。研究团队目前正在致力于将这种优化方法扩展到其他类型的机器学习工作负载，包括微调和推理。他们还发布了该时序调度器的开源实现，使任何组织都能从中受益。