AI初创公司Subquadratic声称破解LLM十年瓶颈

一家名叫Subquadratic的迈阿密AI初创公司最近从隐身模式走出来，声称解决了困扰大语言模型近十年的数学瓶颈。公司表示，这项突破能大幅提升LLM效率，把计算成本和能耗降低几个数量级。 这个瓶颈指的是注意力机制的二次复杂度问题——这是GPT-4、Llama这类Transformer模型的核心机制。模型越大，处理长序列的计算成本指数级增长，限制了上下文窗口，还逼着大家堆硬件。 Subquadratic声称开发了一套全新的数学框架，能把复杂度降到线性或近线性水平，而且不牺牲模型质量。如果真能做到，LLM就能处理数百万token的超长上下文，同时跑在远没那么强的硬件上。 不过，细节少得可怜。公司没发技术论文、没开源代码、也没提供独立基准测试。AI研究圈普遍持怀疑态度——这行里类似的“突破”承诺最后往往变成小修小补或者根本没法落地的理论构想。 Subquadratic的CEO表示，公司正在跟主要云服务商和芯片制造商谈技术授权。这家初创公司从匿名投资者那里融了一小笔种子轮。 目前，AI社区的态度是密切关注但保持谨慎。如果Subquadratic的说法经得起推敲，它可能重塑AI开发的成本结构——让小型组织也能用上高级模型，同时降低训练和推理的环境影响。在那之前，证明自己的责任还在这家初创公司身上。