OpenAI plant Exabyte-Speicher: Mehr Kontrolle über Kosten und Daten

OpenAI treibt den Ausbau seiner technischen Infrastruktur voran und kündigte an, die interne Speicherplattform Habitat weiter zu skalieren. Zudem plant das Unternehmen ein hauseigenes Speichersystem im Exabyte-Maßstab, um die Performance zu steigern und die Kostenkontrolle zu verbessern.

Aktuell bedient Habitat nach Unternehmensangaben über 1 Mrd. ChatGPT-Nutzer in 40 geografischen Regionen und sichert dabei ein Datenvolumen von über 500 PB. Technische Optimierungen wie der Einsatz von Multi-Tenancy, globales Caching sowie die Nutzung von Azure Cosmos DB ermöglichen mittlerweile 12x schnellere Lesezugriffe für den KI-Dienst.

Innerhalb von Azure Cosmos DB stellt Habitat das größte Einzelkonto dar, das Datenmengen im Bereich von Dutzenden PB umfasst und über 20 Mio. QPS verarbeitet.

Architekturanpassungen und Rückkehr zu Multi-Tenancy

Der Skalierungsprozess der Plattform brachte in der Vergangenheit erhebliche infrastrukturelle Herausforderungen mit sich. Nach Phasen, in denen das System auf Single-Tenant-Containern aufbaute, kehrte OpenAI zu Multi-Tenant-Containern zurück.

Die rasante Entwicklung von KI-Infrastrukturen bringt neue rechtliche Anforderungen mit sich, die viele Unternehmen noch nicht vollständig überblicken. Dieser kostenlose Report klärt auf, welche rechtlichen Pflichten und Bedrohungen Unternehmer jetzt im Blick behalten müssen. KI-Verordnung: Risikoklassen und Pflichten jetzt verstehen

Während des starken Datenwachstums traten unter anderem Kollisionen bei Partitionsschlüsseln auf. Zudem machten dem System sogenannte Noisy-Neighbor-Effekte sowie schwächere physische Partitionen zu schaffen.

Die jüngsten Anpassungen schließen an vorangegangene technische Umbauten an. Bereits im zweiten Quartal 2026 begann eine Umstellung auf Rust, die am 11.09.2026 rund 95 Prozent der Produktions-Requests abdeckte und eine sechsfache Steigerung der CPU- sowie eine 15-fache Steigerung der Speichereffizienz erzielte.

Zuvor wurden für die Infrastruktur mehr als 70 Mio. Requests pro Sekunde bei über 500 PB Daten in fast 40 Regionen verzeichnet, wobei Change Data Capture separate Rockset-Instanzen speist.

Wer moderne KI-Systeme entwickelt oder einsetzt, muss neben der technischen Skalierung auch die strikten Compliance-Vorgaben der neuen EU-Verordnungen erfüllen. Ein kostenloser Umsetzungsleitfaden bietet hierfür einen kompakten Überblick über alle relevanten Fristen und Risikoklassen. Kostenloses E-Book zum EU AI Act herunterladen

Strategische Pläne für Speicher im Exabyte-Bereich

Der geplante Aufbau eines eigenen Exabyte-Systems soll künftig vor allem der Optimierung von Kosten und Datenkontrolle dienen. Beobachter werten das Vorhaben nicht als Bruch der bestehenden Compute-Vereinbarungen mit Microsoft. Im Vergleich zu reiner Rechenleistung unterliegt Speicher geringeren Lieferbeschränkungen, lässt sich kostengünstiger replizieren und ermöglicht eine einfachere Verteilung über mehrere Standorte und Infrastrukturen.

Bislang handelt es sich bei dem Exabyte-Projekt um eine strategische Planung und noch nicht um eine beschlossene Umsetzung. Wichtige Faktoren wie die konkrete Finanzierung, künftige Standorte sowie die mögliche Beteiligung externer Anbieter sind derzeit noch offen.