Nueva Técnica Reduce el Uso de Memoria de los LLM 50 Veces Sin Pérdida

Investigadores del MIT han logrado un avance que podría reducir drásticamente el costo y expandir el alcance de los modelos de lenguaje grandes en entornos empresariales. Desarrollaron una novedosa técnica de compactación de caché Clave-Valor (KV) que puede reducir la huella de memoria de los LLM hasta 50 veces sin sacrificar precisión. La caché KV es un componente crítico de la memoria que almacena datos temporales durante la generación de texto