新創 Subquadratic 宣稱突破 LLM 十年瓶頸，學界觀望

一家名為 Subquadratic 的邁阿密 AI 新創公司，近日走出隱身模式，宣稱已解決困擾大型語言模型近十年的數學瓶頸。該公司表示，這項突破能大幅提升 LLM 的效率，可能將運算成本與能耗降低數個數量級。 此瓶頸指的是注意力機制的二次方複雜度問題，這是 GPT-4 與 Llama 等 Transformer 架構模型的核心。隨著模型規模擴大，處理長序列的運算成本呈指數成長，限制了上下文視窗，並需要龐大的硬體資源。 Subquadratic 宣稱開發出一套全新的數學框架，能將此複雜度降至線性或近線性水準，且不犧牲模型品質。若屬實，這將讓 LLM 能在遠低於現有需求的硬體上，處理數百萬 token 的超長上下文。 然而，具體細節極為有限。該公司尚未發表技術論文、開源程式碼，也未提供獨立基準測試。AI 研究社群普遍抱持懷疑態度，因為這個領域過去不乏類似宣稱，最終卻只是漸進式改良，或是無法實際規模化的理論想法。 Subquadratic 的執行長表示，公司正與大型雲端服務商及晶片製造商洽談技術授權。這家新創公司已從未公開的投資者手中，募得一輪規模不大的種子資金。 目前 AI 社群正密切但審慎地關注後續發展。如果 Subquadratic 的宣稱經得起檢驗，將可能重塑 AI 開發的經濟模式，讓較小規模的組織也能使用先進模型，並降低訓練與推論的環境衝擊。在此之前，這家新創公司仍需拿出實際成果，證明其說法屬實。