Perplexity AI enthüllt hybrides lokales Cloud-Inferenzsystem

Perplexity AI hat auf der Computex 2026 einen bahnbrechenden hybriden lokalen Server-Inferenz-Orchestrator vorgestellt, der verspricht, die Art und Weise, wie KI-Workloads bereitgestellt werden, grundlegend zu verändern. Das System, das das Unternehmen „EdgeMind“ nennt, entscheidet autonom in Echtzeit, ob eine KI-Aufgabe auf dem lokalen Gerät eines Benutzers oder in der Cloud ausgeführt werden soll, und optimiert dabei Leistung, Datenschutz und Kosten. Dies ist eine deutliche Abkehr vom aktuellen Paradigma, bei dem KI-Inferenz entweder vollständig cloudbasiert ist (was eine ständige Internetverbindung erfordert und Datenschutzbedenken aufwirft) oder vollständig auf dem Gerät stattfindet (begrenzt durch die Hardware-Fähigkeiten). EdgeMind bewertet jede Anfrage dynamisch und berücksichtigt Faktoren wie Modellgröße, Latenzanforderungen, Datensensitivität und aktuelle Netzwerkbedingungen. Zum Beispiel könnte eine einfache Abfrage wie das Zusammenfassen eines lokalen Dokuments vollständig auf dem Laptop des Benutzers bearbeitet werden, was Datenschutz und null Latenz gewährleistet. Eine komplexe Aufgabe wie das Generieren eines hochauflösenden Bildes oder das Analysieren eines großen Datensatzes würde nahtlos in die Cloud ausgelagert werden, wo leistungsfähigere GPUs verfügbar sind. Der Übergang ist für den Benutzer unsichtbar, der einfach die Ergebnisse erscheinen sieht. „Wir glauben, dass die Zukunft der KI weder reine Cloud noch reines Gerät ist, sondern eine fließende Partnerschaft zwischen beiden“, sagte Aravind Srinivas, CEO von Perplexity AI, während der Computex-Keynote. „EdgeMind ist das Betriebssystem für diese Partnerschaft. Es trifft die schwierigen Entscheidungen, damit die Benutzer es nicht tun müssen.“ Das System ist für eine breite Palette von Modellen ausgelegt, von kleinen Sprachmodellen, die auf einem Telefon laufen können, bis hin zu Grenzmodellen, die Rechenzentrumscluster erfordern. Perplexity hat auch ein Software Development Kit veröffentlicht, das es Drittanbietern ermöglicht, EdgeMind in ihre eigenen Anwendungen zu integrieren. Erste Demonstrationen zeigten beeindruckende Ergebnisse. In einem Test bearbeitete ein Laptop mit EdgeMind 70 % der KI-Abfragen lokal, wodurch die Cloud-Kosten um 60 % gesenkt wurden, während die Antwortzeiten unter 200 Millisekunden blieben. Datenschutzsensible Aufgaben wie die Verarbeitung von E