Truco de sincronización reduce hasta un 14% la energía en el entrenamiento de LLM

Investigadores han descubierto una optimización de sincronización simple pero efectiva que puede reducir el consumo de energía durante el entrenamiento de modelos de lenguaje grandes hasta en un 14%. El hallazgo llega en un momento crítico, cuando las demandas energéticas de los modelos de IA de frontera están atrayendo un escrutinio creciente por parte de defensores del medio ambiente y reguladores. La técnica implica ajustar la programación de las tareas computacionales durante el proceso de entrenamiento. Al sincronizar cuidadosamente cuándo se ejecutan ciertas operaciones, los investigadores lograron minimizar los períodos de inactividad y reducir el consumo total de energía del hardware de entrenamiento. La optimización no requiere ningún cambio en la arquitectura subyacente del modelo ni en los algoritmos de entrenamiento, lo que facilita su implementación en flujos de trabajo existentes. La eficiencia energética en el entrenamiento de IA se ha convertido en una preocupación apremiante. Entrenar un solo modelo grande puede consumir tanta electricidad como la que utilizan cientos de hogares en un año. A medida que las empresas compiten por construir modelos cada vez más grandes, el impacto ambiental acumulativo es significativo. Este nuevo truco de sincronización ofrece una forma práctica y de bajo costo para mitigar parte de ese impacto. Los investigadores probaron su enfoque en varias arquitecturas de modelos populares y encontraron ahorros de energía consistentes en todos los casos. La reducción del 14% es particularmente notable porque se logra sin ninguna compensación en el rendimiento del modelo o la velocidad de entrenamiento. De hecho, en algunos casos, la programación optimizada mejoró ligeramente el rendimiento. Expertos de la industria han acogido con satisfacción el descubrimiento, señalando que las ganancias incrementales de eficiencia pueden tener efectos desproporcionados cuando se escalan a los miles de ejecuciones de entrenamiento realizadas por los principales laboratorios de IA. Si se adopta ampliamente, la técnica podría ahorrar millones de kilovatios-hora de electricidad al año. El equipo de investigación ahora está trabajando en extender la optimización a otros tipos de cargas de trabajo de aprendizaje automático, incluidos el ajuste fino y la inferencia. También han publicado una implementación de código abierto del programador de sincronización, permitiendo que cualquier organización se beneficie de ella.