So skaliert OpenAI den Speicher für 1 Mrd. ChatGPT-Nutzer

OpenAI hat einen Engineering-Bericht veröffentlicht, der beschreibt, wie das Unternehmen Habitat von einer Python-Bibliothek zu einer global verteilten Storage-Plattform weiterentwickelt hat. Diese Plattform bedient heute über 1 Milliarde ChatGPT-Nutzer und verarbeitet 22 Millionen Anfragen pro Sekunde. Der Beitrag erklärt die Architekturentscheidungen hinter dem Online-Speicher für einen der meistgenutzten Consumer-KI-Dienste der Welt. Schon die Zahlen sind beeindruckend. 22 Millionen Anfragen pro Sekunde dauerhaft zu stemmen, erfordert eine Speicherschicht, die nicht nur schnell, sondern auch widerstandsfähig ist – denn jede Latenzspitze oder Störung wirkt sich direkt auf die Nutzererfahrung eines riesigen globalen Publikums aus. OpenAIs Bericht beschreibt, wie das System über seine Ursprünge als einfache Bibliothek hinauswuchs und zu einer eigens entwickelten Plattform wurde, die diese Last bewältigen kann. Für Engineers liegt der Wert des Beitrags in dem seltenen Einblick in die Infrastrukturanforderungen, die der Betrieb von ChatGPT in globalem Maßstab mit sich bringt. Speicherlatenz und Zuverlässigkeit sind für Nutzer oft unsichtbar – bis etwas ausfällt. Dabei prägen sie alles, vom Gesprächsverlauf bis zum Abruf des Modellkontexts. Die Entscheidungen, die OpenAI zu Verteilung, Konsistenz und Fehlerbehandlung getroffen hat, bieten Lehren für jedes Team, das stark frequentierte KI-Dienste baut. Die Veröffentlichung solcher Details ist auch ein Signal. OpenAI konkurriert nicht nur um Nutzer, sondern auch um Engineering-Talente, und tiefe technische Write-ups helfen, Glaubwürdigkeit bei den Entwicklern aufzubauen, die man gewinnen will. Der Beitrag unterstreicht, dass hinter jedem polierten KI-Produkt eine substanzielle Systemherausforderung steckt – und dass das Skalieren von Consumer-KI ebenso ein Infrastrukturproblem ist wie ein Modellierungsproblem.