NVIDIA GR00T 2: Roboter lernen Handgriffe aus menschlichen Videos

Auf der Fachkonferenz Conference on Robot Learning (CoRL) im texanischen Austin hat NVIDIA das offene World-Action-Modell GR00T 2 vorgestellt. Das System soll Robotern ermöglichen, feinmotorische Manipulationsfähigkeiten direkt aus Videoaufnahmen menschlicher Bewegungen zu erlernen.

Modellarchitektur und umfangreiche Trainingsdaten

GR00T 2 ist als Transformer mit 2 Milliarden Parametern konzipiert und baut auf dem hauseigenen Weltmodell Cosmos (Cosmos-Predict2.5-2B) auf. Für das Vortraining des Systems griff das Unternehmen auf eine breite Datenbasis zurück: Eingeflossen sind 402.730 Stunden First-Person-Videomaterial von Menschen, 10.184 Stunden Demonstrationen von Handgriffen über 2.897 Aufgaben hinweg sowie 23.500 Stunden an Roboter-Teleoperationen.

Im Zuge der Veröffentlichung stellte NVIDIA zudem den Datensatz Human-1M-100K bereit. Dieser umfasst 100.000 Stunden egozentrischer Humandaten und ist unter der Lizenz CC BY 4.0 frei zugänglich. Der zugehörige Programmcode soll laut Angaben auf der Forschungsseite ab Dezember zur Verfügung stehen.

Hohe Erfolgsraten bei minimaler Demonstrationsdauer

In experimentellen Testläufen bewältigte GR00T 2 insgesamt 40 von 50 Aufgaben mindestens einmal, ohne dass dafür eine aufgabenspezifische Demonstration erforderlich war. Bei 50 Aufgaben, die außerhalb der Trainingsdaten des jeweiligen Zielroboters lagen, erreichte das System eine Zero-Shot-Erfolgsquote von 40 Prozent.

Stehen dem Modell Demonstrationen zur Verfügung, steigen die Raten deutlich: Mit einer einzigen Demonstration pro Aufgabe lag die durchschnittliche Erfolgsquote bei 71 Prozent, bei fünf Demonstrationen kletterte der Wert auf 95 Prozent. Für diese im Whitepaper dokumentierten Werte wurden Aufgaben herangezogen, die eine vorausgewählte Lernbarkeit von mindestens 80 Prozent aufwiesen.

Wer die tiefgreifenden Veränderungen durch Robotik und KI im industriellen Sektor verstehen möchte, findet in diesem Report wertvolle Analysen zu den führenden Akteuren. Erfahren Sie, welche Unternehmen die technologische Entwicklung maßgeblich vorantreiben. Robotik und KI: So erkennen Sie die Profiteure der neuen Industrieära

Praktisch genügen für fünf Demonstrationen weniger als 3 Minuten an Roboterdaten. Die Feinabstimmung des Adapters auf einer Grafikkarte vom Typ RTX 5090 nimmt rund 30 Minuten in Anspruch. Zudem ist GR00T 2 in der Lage, erlernte Fähigkeiten auf unterschiedliche Roboterkörper zu übertragen.

Aktualisierte Simulationsumgebung und Benchmark-Werkzeuge

Parallel dazu rückte NVIDIA die Simulationsplattform Isaac Lab 3.0 in den Fokus, die seit dem 20. Oktober 2026 allgemein als Open-Source-Software verfügbar ist. Die Version integriert die Newton-Physik-Engine und erlaubt den flexiblen Wechsel zwischen PhysX und Newton.

Die Software bildet unter anderem deformierbare Objekte wie Stoffe oder Kabel sowie vielgelenkige Roboterhände ab. In Benchmarks zur visuellen Dexterity-Manipulation erzielte Isaac Lab 3.0 im Vergleich zur Vorgängerversion 2.3 mit PhysX einen bis zu 2,5-fachen Trainingsdurchsatz.

Der technologische Umbruch durch KI und Automatisierung gilt unter Experten als eine der bedeutendsten wirtschaftlichen Entwicklungen der kommenden Jahre. Dieser kostenlose Leitfaden fasst zusammen, wie neue Technologien ganze Branchen transformieren und wer davon profitiert. Experten analysieren die größte Industrierevolution seit Jahrzehnten

Zusätzlich verwies das Unternehmen auf Simulationsergebnisse mit AlphaNIST: Über 20 NIST-Aufgaben hinweg erreichte das Verfahren mit einer einheitlichen Policy einen Trainingserfolg von 98,2 Prozent – verglichen mit 81,4 Prozent bei Einzelpolitiken – und benötigte dabei rund 39-mal weniger GPU-Zeit.

Für industrielle Anwendungsfälle wurden zudem die offenen Benchmarks DexBench (RLWRLD) und VABAR (UC Berkeley) eingeführt sowie Isaac Lab-Arena 0.4 als Vorabversion für Entwickler bereitgestellt.

Industrielle Erprobung und Ausblick

Mehrere Industrieunternehmen erproben das Modell bereits in spezifischen Szenarien. Foxconn setzt GR00T 2 zur Automatisierung bei der Fertigung von KI-Servern ein, während Siemens das Modell für verschiedene industrielle Einsatzzwecke evaluiert.

Das Unternehmen Nexuni erprobt das System bei der Handhabung von Wäsche, und MicroAGI testet den Wechsel von LAN- und Ethernetkabeln über einen Roboterarm. Zu den weiteren Partnern zählen Ambi Robotics, Bosch Research, Skild AI sowie die UC Berkeley.

Ken Goldberg von der UC Berkeley bezeichnete die agentische Robotik in diesem Zusammenhang als die spannendste Entwicklung seit dem Aufkommen des Internets im Jahr 1995.

Trotz der praktischen Erprobungen nannte NVIDIA bislang kein konkretes Verfügbarkeitsdatum oder Details zum Entwicklerzugang für GR00T 2. Auch ein Zeitplan für eine breite Kommerzialisierung oder den Start eines regulären Serieneinsatzes liegt derzeit noch nicht vor.