Startup alega avanço em gargalo de LLMs

Uma startup de IA de Miami chamada Subquadratic saiu do modo stealth alegando ter resolvido um gargalo matemático fundamental que tem atormentado modelos de linguagem de grande escala (LLMs) por quase uma década. A empresa afirma que seu avanço pode melhorar drasticamente a eficiência dos LLMs, potencialmente reduzindo custos computacionais e consumo de energia em ordens de magnitude. O gargalo em questão está relacionado à complexidade quadrática dos mecanismos de atenção, que são centrais para modelos baseados em transformadores como GPT-4 e Llama. À medida que os modelos crescem, o custo computacional de processar sequências longas aumenta exponencialmente, limitando as janelas de contexto e exigindo recursos de hardware massivos. A Subquadratic afirma ter desenvolvido uma nova estrutura matemática que reduz essa complexidade para níveis lineares ou quase lineares sem sacrificar a qualidade do modelo. Se for verdade, isso permitiria que LLMs lidassem com contextos muito mais longos — potencialmente milhões de tokens — enquanto rodam em hardware muito menos potente. No entanto, os detalhes permanecem escassos. A empresa não publicou um artigo técnico, não abriu o código-fonte nem forneceu benchmarks independentes. O ceticismo é generalizado entre pesquisadores de IA, muitos dos quais já viram alegações semelhantes não se concretizarem. O campo tem um histórico de avanços promissores que acabam sendo melhorias incrementais ou ideias teóricas que não escalam na prática. O CEO da Subquadratic afirmou que a empresa está em negociações com grandes provedores de nuvem e fabricantes de chips para licenciar sua tecnologia. A startup levantou uma modesta rodada inicial de investidores não divulgados. Por enquanto, a comunidade de IA está observando de perto, mas com cautela. Se as alegações da Subquadratic se confirmarem sob escrutínio, isso pode remodelar a economia do desenvolvimento de IA, tornando modelos avançados acessíveis a organizações menores e reduzindo o impacto ambiental do treinamento e inferência. Até lá, o ônus da prova permanece com a startup para demonstrar resultados no mundo real.