Cosmos 3: NVIDIA öffnet KI-Plattform für Roboter und autonome Fahrzeuge

Chip-Riese erweitert auf der CVPR sein Ökosystem – und setzt auf Open Source, um die Lücke zwischen digitaler und physischer Welt zu schließen.

Auf der Computer Vision Conference (CVPR) in Denver präsentiert NVIDIA eine Reihe neuer KI-Modelle und Werkzeuge, die Roboter, autonome Fahrzeuge und Industrieanlagen intelligenter machen sollen. Im Zentrum steht Cosmos 3, ein offenes Foundation Model für „Physical AI" – also künstliche Intelligenz, die nicht nur denkt, sondern auch handelt.

Cosmos 3: Das offene Fundament für die physische KI

Anzeige: NVIDIA hat mit Cosmos 3 ein offenes Foundation Model für Physical AI veröffentlicht – perfekt für Robotik- und autonome Fahrzeug-Entwickler. Erste Anwender wie Pegatron verkürzen ihre Trainingszeit um 67 Prozent. Jetzt kostenlosen Cosmos-3-Guide anfordern

NVIDIA beschreibt Cosmos 3 als „Open-Source-Frontier-Modell" für die physische Welt. Es basiert auf einer Mixture-of-Transformers-Architektur und kann visuelle Informationen verarbeiten, Welten generieren und Aktionen vorhersagen. Das Modell erscheint in mehreren Varianten – darunter „Super" und „Nano" – eine spezielle „Edge"-Version für Endgeräte ist in Entwicklung.

Laut Unternehmensangaben erzielt Cosmos 3 Spitzenwerte in offenen Benchmarks wie Physics-IQ und PAI-Bench. Um das Ökosystem zu stärken, gründet NVIDIA die Cosmos Coalition – ein Bündnis mit Partnern wie Agile Robots, Black Forest Labs, Runway und Skild AI. Branchenbeobachter sehen darin den Versuch, über die reine Hardware-Dominanz hinaus eine starke Software-Plattform zu etablieren.

Spezialisierte Modelle für Robotaxis und Industrie

Bereits Anfang der Woche hatte NVIDIA auf der GTC Taipei und der Computex weitere Modelle vorgestellt. Alpamayo 2 Super ist ein 32-Milliarden-Parameter-Modell vom Typ Vision-Language-Action (VLA), das speziell für Level-4-Robotaxis entwickelt wurde. Es verbessert das räumliche Verständnis und die Vorhersage von Bewegungsmustern. Der Quellcode soll im Sommer 2026 auf GitHub und Hugging Face erscheinen.

Zum NVIDIA Agent Toolkit gehören zudem neue Entwicklerwerkzeuge:
- AlpaGym: Ein Open-Source-Framework für verstärkendes Lernen (Reinforcement Learning)
- OmniDreams: Ein generatives Weltmodell zur Erzeugung vielfältiger Trainingsumgebungen
- Omniverse NuRec: Ein Tool zur neuronalen Rekonstruktion und Darstellung

Erste Anwender berichten von deutlichen Verbesserungen: Pegatron verkürzte seine Trainingszeit um 67 Prozent, Delta Electronics steigerte die Fehlererkennung um 17 Prozent. Foxconn, das ab 2028 Robotaxi-Dienste in Kaohsiung plant, meldet eine um drei Prozent höhere Erstausbeute (First-Pass Yield).

Forschung: Greifen, Fahren, Spielen

NVIDIA Research präsentiert auf der CVPR drei richtungsweisende Arbeiten. GraspGen-X ist ein „Zero-Shot"-Modell für robotisches Greifen, trainiert auf einem Datensatz von zwei Milliarden simulierten Griffbewegungen.

Für das autonome Fahren zeigt NVIDIA LCDrive: Das System nutzt latente Darstellungen, um den Token-Verbrauch zu halbieren – das ermöglicht schnellere Entscheidungen in komplexen Verkehrssituationen. Und NitroGen, ein KI-Modell für Spiele, wurde mit über 40.000 Stunden Interaktion aus mehr als 1.000 Spielen trainiert. In datenarmen Szenarien erzielt es laut NVIDIA bis zu 52 Prozent bessere Leistung.

Partnerschaft mit Microsoft und neue Hardware

Anzeige: Fehlende offene Standards bremsen Ihre Physical-AI-Entwicklung? Mit Cosmos 3 und der Cosmos Coalition stellt NVIDIA ein leistungsstarkes Ökosystem bereit – inklusive AlpaGym für Reinforcement Learning und OmniDreams für Trainingsumgebungen. 5-Schritte-Checkliste zur Integration sichern

NVIDIA vertieft zudem die Zusammenarbeit mit Microsoft, wie auf der Build-Konferenz Anfang Juni bekannt wurde. Cosmos 3 wird in Azure integriert, beide Unternehmen entwickeln einen einheitlichen Stack für agentische KI.

Neue Hardware-Produkte untermauern die Strategie: RTX Spark (ein Petaflop Leistung) soll im Herbst 2026 ausgeliefert werden, die DGX Station für Windows (20 Petaflops) folgt im vierten Quartal 2026. Bereits Anfang der Woche veröffentlichte NVIDIA JetPack 7.2 für Jetson-Edge-Geräte – mit speichereffizienten Deployment-Optionen und offizieller Unterstützung für das Yocto-Projekt.

NVIDIA-Spitzenmanager betonten, dass KI-Agenten derzeit die Softwareentwicklung verändern – und nun bereit seien, auch physische Systeme zu revolutionieren. Maschinen könnten bald nicht nur rechnen, sondern sicher mit der Welt interagieren.

de | wissenschaft | 69479856 |