スタートアップがLLMの数学的ボトルネック解消を主張　専門家は懐疑的

マイアミに拠点を置くAIスタートアップ「Subquadratic」がステルスモードから姿を現し、ここ10年近く大規模言語モデル（LLM）を悩ませてきた根本的な数学的ボトルネックを解決したと主張しています。同社は、このブレークスルーによりLLMの効率が劇的に向上し、計算コストとエネルギー消費を桁違いに削減できる可能性があると主張しています。 問題となっているボトルネックは、GPT-4やLlamaのようなTransformerベースのモデルの中核をなすアテンション機構の二次複雑性に関連しています。モデルが大きくなるにつれて、長いシーケンスを処理するための計算コストは指数関数的に増加し、コンテキストウィンドウが制限され、大規模なハードウェアリソースが必要になります。 Subquadraticは、モデルの品質を犠牲にすることなく、この複雑性を線形またはそれに近いレベルにまで低減する新しい数学的フレームワークを開発したと主張しています。これが事実であれば、LLMははるかに長いコンテキスト（潜在的に数百万トークン）を、はるかに低性能のハードウェアで処理できるようになります。 しかし、詳細はほとんど明らかにされていません。同社は技術論文を公開しておらず、コードをオープンソース化もしておらず、独立したベンチマークも提供していません。AI研究者の間では懐疑的な見方が広がっており、同様の主張が実現しなかった例を多く見てきています。この分野では、有望なブレークスルーが結局は漸進的な改善に過ぎなかったり、実際にはスケールしない理論的なアイデアだったりするケースが過去にありました。 SubquadraticのCEOは、同社が主要なクラウドプロバイダーやチップメーカーと技術ライセンス供与について協議中であると述べています。スタートアップは、非公開の投資家から控えめなシードラウンドの資金を調達しています。 現時点では、AIコミュニティは注目しつつも慎重に見守っています。Subquadraticの主張が精査に耐えるものであれば、AI開発の経済性を一変させ、高度なモデルを小規模な組織でも利用可能にし、トレーニングと推論による環境への影響を削減する可能性があります。それまでは、実世界での結果を示す責任はスタートアップ側にあります。