OpenAI y Broadcom lanzan chip Jalapeño para inferencia de LLMs

OpenAI y Broadcom han presentado Jalapeño, un chip de inteligencia artificial personalizado construido específicamente para la inferencia de modelos de lenguaje grandes (LLMs). El chip tiene como objetivo mejorar el rendimiento, la eficiencia y la escala en los sistemas de IA, marcando un paso significativo en el desarrollo de silicio personalizado para cargas de trabajo de IA. A diferencia de las GPUs de propósito general, Jalapeño está optimizado para las demandas únicas de la inferencia de LLMs —procesar cantidades masivas de datos con baja latencia mientras minimiza el consumo de energía. La arquitectura del chip se centra en acelerar las multiplicaciones de matrices y los mecanismos de atención, que son la base computacional de los modelos de lenguaje modernos. Los primeros benchmarks sugieren que Jalapeño puede ofrecer velocidades de inferencia hasta 3 veces más rápidas en comparación con las soluciones existentes, con una reducción del 50% en el consumo de energía. Este desarrollo es crucial a medida que los modelos de IA se vuelven más grandes y complejos. Las empresas que despliegan chatbots, asistentes de código y herramientas de generación de contenido necesitan hardware que pueda mantenerse al día con las demandas en tiempo real sin disparar los costes. Al diseñar un chip específicamente para inferencia, OpenAI y Broadcom están abordando un cuello de botella que ha limitado la adopción generalizada de LLMs en entornos de producción. La alianza también señala una tendencia más amplia hacia la integración vertical en IA. En lugar de depender únicamente de hardware estándar, las principales empresas de IA están invirtiendo en silicio personalizado para obtener una ventaja competitiva. Se espera que Jalapeño esté disponible para proveedores de nube seleccionados a mediados de 2025, con una disponibilidad más amplia posteriormente. Para desarrolladores y empresas, esto significa inferencia de IA más rápida, más barata y más escalable, allanando el camino para aplicaciones más ambiciosas.