El TurboQuant de Google reduce los costos de memoria de IA en un 50%

El nuevo algoritmo TurboQuant de Google reporta entregar mejoras dramáticas de rendimiento y costo para ejecutar grandes modelos de lenguaje. Según los detalles, la técnica de compresión de memoria puede acelerar el acceso a la memoria de IA por un factor de ocho y reducir los costos asociados en un 50% o más. TurboQuant ataca específicamente el 'cuello de botella de la caché Clave-Valor', un obstáculo técnico importante que emerge cuando los LLMs procesan secuencias largas. Al comprimir agresivamente esta caché sin una pérdida significativa de precisión, la técnica promete hacer que la inferencia de LLM sea más rápida y asequible, lo que podría democratizar el acceso a modelos más potentes.