5% de utilización de GPU: un problema de infraestructura de IA de 401 mil millones de dólares

Un nuevo análisis de VentureBeat ha cuantificado lo que muchos en la industria sospechaban desde hace tiempo: la utilización promedio de GPU en las empresas es de solo el 5%, lo que representa un asombroso problema de infraestructura de IA de 401 mil millones de dólares que las empresas ya no pueden permitirse ignorar. La carrera por las GPU de los últimos dos años, impulsada por el auge de la IA generativa, provocó un aprovisionamiento excesivo masivo, ya que las organizaciones se apresuraron a asegurar capacidad en un mercado donde la demanda superaba con creces la oferta. Ahora, la factura está llegando. Los directores financieros están analizando el gasto en IA con una intensidad creciente, y las cifras son aleccionadoras. Muchas empresas reservaron capacidad de GPU mediante contratos plurianuales con proveedores de nube, solo para descubrir que su uso real es una fracción de lo que habían comprometido. En algunos casos, las empresas están pagando por miles de GPU mientras usan solo docenas. El gasto desperdiciado no es solo financiero; también representa un costo ambiental significativo, ya que las GPU inactivas continúan consumiendo energía. El problema se debe a varios factores. En primer lugar, las compras impulsadas por el pánico inicial llevaron a reservas infladas basadas en necesidades proyectadas que nunca se materializaron. En segundo lugar, muchos proyectos de IA no lograron pasar de la fase piloto a la producción, dejando sin usar los recursos de GPU asignados. En tercer lugar, el rápido ritmo de optimización de modelos significa que los modelos más nuevos y eficientes requieren mucho menos cómputo de lo previsto inicialmente. El análisis de VentureBeat sugiere que las empresas deben tomar medidas inmediatas para optimizar el uso de las GPU. Las recomendaciones clave incluyen implementar mejores sistemas de programación que permitan la asignación dinámica de recursos de GPU entre equipos, adoptar técnicas de compresión y cuantización de modelos para reducir los requisitos de cómputo, y explorar grupos de GPU compartidos donde la capacidad inactiva pueda ser utilizada por otros departamentos o incluso socios externos. Algunas empresas ya se están moviendo en esta dirección. Los principales proveedores de nube han introducido instancias puntuales de GPU y máquinas virtuales interrumpibles que permiten a las empresas acceder a capacidad no utilizada con grandes descuentos. Mientras tanto, están surgiendo startups