Startup afirma resolver cuello de botella de los LLM

Una startup de IA con sede en Miami llamada Subquadratic ha salido del modo sigiloso afirmando haber resuelto un cuello de botella matemático fundamental que ha afectado a los grandes modelos de lenguaje durante casi una década. La compañía asegura que su avance podría mejorar drásticamente la eficiencia de los LLM, potencialmente reduciendo los costos computacionales y el consumo de energía en órdenes de magnitud. El cuello de botella en cuestión se relaciona con la complejidad cuadrática de los mecanismos de atención, que son centrales para modelos basados en transformadores como GPT-4 y Llama. A medida que los modelos crecen, el costo computacional de procesar secuencias largas aumenta exponencialmente, limitando las ventanas de contexto y requiriendo recursos de hardware masivos. Subquadratic afirma haber desarrollado un marco matemático novedoso que reduce esta complejidad a niveles lineales o casi lineales sin sacrificar la calidad del modelo. Si es cierto, esto permitiría a los LLM manejar contextos mucho más largos —potencialmente millones de tokens— mientras se ejecutan en hardware mucho menos potente. Sin embargo, los detalles siguen siendo escasos. La compañía no ha publicado un artículo técnico, no ha abierto el código de su solución ni ha proporcionado puntos de referencia independientes. El escepticismo está generalizado entre los investigadores de IA, muchos de los cuales han visto afirmaciones similares que no se materializaron. El campo tiene un historial de avances prometedores que resultan ser mejoras incrementales o ideas teóricas que no escalan en la práctica. El CEO de Subquadratic ha declarado que la compañía está en conversaciones con importantes proveedores de nube y fabricantes de chips para licenciar su tecnología. La startup ha recaudado una modesta ronda semilla de inversores no revelados. Por ahora, la comunidad de IA observa con atención pero con cautela. Si las afirmaciones de Subquadratic se sostienen bajo escrutinio, podría reconfigurar la economía del desarrollo de IA, haciendo que los modelos avanzados sean accesibles para organizaciones más pequeñas y reduciendo el impacto ambiental del entrenamiento e inferencia. Hasta entonces, la carga de la prueba recae en la startup para demostrar resultados en el mundo real.