Startup will KI-Engpass gelöst haben

Ein in Miami ansässiges KI-Startup namens Subquadratic hat sich aus dem Stealth-Modus befreit und behauptet, ein grundlegendes mathematisches Problem gelöst zu haben, das große Sprachmodelle seit fast einem Jahrzehnt plagt. Das Unternehmen versichert, dass sein Durchbruch die Effizienz von LLMs dramatisch verbessern könnte – mit dem Potenzial, Rechenkosten und Energieverbrauch um Größenordnungen zu senken. Der Engpass bezieht sich auf die quadratische Komplexität von Aufmerksamkeitsmechanismen, die zentral für Transformer-basierte Modelle wie GPT-4 und Llama sind. Je größer die Modelle werden, desto exponentiell steigen die Rechenkosten für die Verarbeitung langer Sequenzen, was Kontextfenster begrenzt und massive Hardware-Ressourcen erfordert. Subquadratic behauptet, ein neuartiges mathematisches Framework entwickelt zu haben, das diese Komplexität auf lineare oder nahezu lineare Werte reduziert, ohne die Modellqualität zu beeinträchtigen. Wenn das stimmt, könnten LLMs viel längere Kontexte verarbeiten – potenziell Millionen von Token – während sie auf weit weniger leistungsfähiger Hardware laufen. Allerdings bleiben Details rar. Das Unternehmen hat weder ein technisches Paper veröffentlicht, seinen Code als Open Source bereitgestellt noch unabhängige Benchmarks vorgelegt. Skepsis ist unter KI-Forschern weit verbreitet, von denen viele ähnliche Behauptungen schon scheitern sahen. Das Feld hat eine Geschichte von vielversprechenden Durchbrüchen, die sich als inkrementelle Verbesserungen oder theoretische Ideen entpuppten, die in der Praxis nicht skalieren. Subquadratics CEO hat erklärt, dass das Unternehmen in Gesprächen mit großen Cloud-Anbietern und Chip-Herstellern sei, um seine Technologie zu lizenzieren. Das Startup hat eine bescheidene Seed-Runde von nicht genannten Investoren eingesammelt. Vorerst beobachtet die KI-Community die Entwicklung aufmerksam, aber vorsichtig. Sollten sich Subquadratics Behauptungen unter genauer Prüfung bewahrheiten, könnte dies die Ökonomie der KI-Entwicklung neu gestalten, fortschrittliche Modelle für kleinere Organisationen zugänglich machen und die Umweltauswirkungen von Training und Inferenz reduzieren. Bis dahin bleibt die Beweislast beim Startup, um reale Ergebnisse zu demonstrieren.