Truque de Temporização Reduz o Consumo de Energia no Treinamento de LLMs em Até 14%

Pesquisadores descobriram uma otimização de temporização simples, porém eficaz, que pode reduzir o consumo de energia durante o treinamento de grandes modelos de linguagem em até 14%. A descoberta chega em um momento crítico, quando a demanda energética dos modelos de IA de fronteira atrai cada vez mais escrutínio de defensores ambientais e reguladores. A técnica envolve ajustar o agendamento de tarefas computacionais durante o processo de treinamento. Ao cronometrar cuidadosamente quando certas operações são executadas, os pesquisadores conseguiram minimizar períodos ociosos e reduzir o consumo geral de energia do hardware de treinamento. A otimização não exige nenhuma alteração na arquitetura subjacente do modelo ou nos algoritmos de treinamento, tornando-a fácil de implementar em fluxos de trabalho existentes. A eficiência energética no treinamento de IA tornou-se uma preocupação urgente. Treinar um único modelo grande pode consumir tanta eletricidade quanto centenas de residências consomem em um ano. À medida que as empresas competem para construir modelos cada vez maiores, o impacto ambiental cumulativo é significativo. Este novo truque de temporização oferece uma maneira prática e de baixo custo de mitigar parte desse impacto. Os pesquisadores testaram sua abordagem em várias arquiteturas de modelo populares e encontraram economias de energia consistentes em todos os casos. A redução de 14% é particularmente notável porque ocorre sem qualquer compensação no desempenho do modelo ou na velocidade de treinamento. Na verdade, em alguns casos, o agendamento otimizado melhorou ligeiramente a taxa de transferência. Especialistas da indústria receberam bem a descoberta, observando que ganhos incrementais de eficiência podem ter efeitos desproporcionais quando escalados para os milhares de execuções de treinamento realizadas pelos principais laboratórios de IA. Se amplamente adotada, a técnica poderia economizar milhões de quilowatts-hora de eletricidade anualmente. A equipe de pesquisa está agora trabalhando para estender a otimização a outros tipos de cargas de trabalho de aprendizado de máquina, incluindo ajuste fino e inferência. Eles também lançaram uma implementação de código aberto do agendador de temporização, permitindo que qualquer organização se beneficie da técnica.