Die Robotik steht vor einem Paradigmenwechsel. Kontrollierte Demos und starre Automatisierung weichen zunehmend generalisierbarer, verlässlicher autonomer Bewegung in dynamischen Umgebungen. Auf der International Conference on Robotics and Automation (ICRA) hat NVIDIA Research mit acht von 28 akzeptierten Papers gezeigt, wie der Transfer von Simulation zu Realität den Grundstein für diese Entwicklung legt. Wir fassen die wichtigsten Durchbrüche zusammen.

Vom virtuellen Labor in die Fabrikhalle

NVIDIA Research zeigt auf der ICRA eindrucksvoll, dass simulation-to-real transfer längst kein theoretisches Konzept mehr ist. Die vorgestellten Verfahren decken die gesamte Bandbreite robotischer Herausforderungen ab. Dazu zählen die Koordination mehrerer Roboterarme, generalisierbare Navigationsstrategien und präzise Montageaufgaben. Das gemeinsame Ziel ist klar: Systeme entwickeln, die außerhalb kontrollierter Labore adaptiv, zuverlässig und selbstständig agieren.

Koordination, Navigation und Manipulation

Parallele Prozesse mit ScheduleStream

Stellen Sie sich ein pharmazeutisches Labor vor, in dem mehrere Roboterarme gleichzeitig Proben pipettieren und Reagenzien mischen. Traditionelle Software arbeitet solche Schritte sequenziell ab. ScheduleStream nutzt die GPU-Parallelisierung, um Bewegungsabläufe mehrerer Arme gleichzeitig zu planen. Das Ergebnis ist eine dreifache Beschleunigung bei der Multi-Arm-Planung auf Plattformen wie dem NVIDIA Jetson.

Ein Policy für alle Körper mit COMPASS

Navigationssoftware lernt meist für einen einzigen Robotertyp. Wechselt das Gehäuse die Form, versagt das System oft. Der COMPASS-Policy-Framework löst dies durch kombiniertes Imitationslernen und residuales Reinforcement Learning in NVIDIA Isaac Lab. Besonders bemerkenswert ist, dass keinerlei reale Robotik-Daten benötigt werden. Alles entsteht in der Simulation.

Im Vergleich zu reinem Imitationslernen erzielte COMPASS eine 4,5-fache Verbesserung der Erfolgsrate. Das System überträgt zudem nahtlos auf reale Umgebungen und demonstrierte rund 80 Prozent Erfolg bei 20 Navigationstests autonomer mobiler Roboter und humanoider Systeme.

Adaptive Greifstrategien mit Grasp-MPC

Die letzten Zentimeter vor dem Objekt entscheiden über Erfolg oder Misserfolg. Während herkömmliche Systeme einen festen Plan abarbeiten, korrigiert Grasp-MPC die Bewegung kontinuierlich während der Annäherung. Das funktioniert ähnlich wie bei einem Menschen, der intuitiv zugreift. Nach dem Training mit erfolgreichen und fehlgeschlagenen Trajektorien erzielte das System rund 75 Prozent Erfolg bei unbekannten Objekten in unaufgeräumten Regalen. Der Baseline gelangen dagegen nur 41 Prozent.

Umgang mit verformbaren Materialien

Mit Deformable Cluster Manipulation stellt NVIDIA einen Ansatz vor, der nicht nur einzelne Gegenstände, sondern ganze Büschel flexibler Materialien greift. Dabei nutzt der Roboter den gesamten Arm zum Umfassen und Wegschieben. Das Training erfolgte anhand synthetischer Bäume, die durch biologische Wachstumsgleichungen in Isaac Lab generiert wurden. Die Policy lässt sich ohne Anpassung direkt auf echte Äste übertragen.

Montage mit höchster Präzision

SPARR schließt die Simulationslücke

Präzise Montageaufgaben wie das Aufschrauben einer Mutter oder das Einsetzen eines Zahnrads sind schwer allein aus der Simulation zu erlernen. SPARR teilt die Aufgabe in zwei Ebenen auf. Eine in Isaac Lab trainierte Policy lernt die generelle Strategie, während eine zweite Ebene auf dem echten Roboter Feinkorrekturen anhand der Kameraeingaben vornimmt. Dabei sind keine menschlichen Demonstrationen notwendig. Das Ergebnis sind 38 Prozent höhere Erfolgsraten und rund 30 Prozent kürzere Zykluszeiten.

Refinery meistert sequenzielle Komplexität

Refinery adressiert Montageprozesse mit mehreren aufeinanderfolgenden Schritten, bei denen die Qualität von Schritt eins über Schritt zwei entscheidet. Durch das Training an hunderten simulierten Szenarien lernt das Framework, jeden Arbeitsschritt so abzuschließen, dass der folgende reibungslos möglich wird. In der Simulation erreicht Refinery 91 Prozent Erfolg und zeigt auch unter realen Bedingungen deutliche Verbesserungen gegenüber herkömmlichen Baselines. Die Policies lassen sich zudem verketten, um lange mehrteilige Abläufe zu bewältigen.

KI-Modelle, die Wort halten

PEEK filtert das Wesentliche heraus

Roboterkameras erfassen oft mehr, als für die aktuelle Aufgabe relevant ist. PEEK nutzt ein Vision-Language-Modell, um die Anweisung zu interpretieren und den Fokus gezielt auf die relevanten Objekte zu lenken. Der Roboter agiert auf Basis der annotierten Sicht statt auf dem ungefilterten Bild, was die Effizienz komplexer Manipulationen deutlich steigert.

Do What You Say korrigiert Ausführungsfehler in Echtzeit

Bei komplexen Anweisungen wie dem Verstauen aller Gegenstände in einem Schrank kann ein Modell die Aufgabe zwar korrekt durchdenken, aber falsch ausführen. Die SEAL-Methode behebt dies ohne Neutraining. Der Roboter generiert mehrere Aktionssequenzen, simuliert deren Auswirkungen und wählt jene, die seiner ursprünglichen Planung entspricht.

Offene Daten für die Gemeinschaft

NVIDIA ergänzt die Forschung durch umfangreiche Open-Data-Initiativen. Der NVIDIA Physical AI Dataset gilt als weltweit größter offener Datensatz für physische Entwicklung. Zudem hat sich NVIDIA Isaac GR00T X Embodiment Sim zu einem der meistgenutzten Robotik-Datensätze entwickelt.

Fazit

Mit den auf der ICRA vorgestellten Arbeiten beweist NVIDIA Research, dass der Transfer von Simulation in die Realität kein ferner Traum mehr ist. Von adaptiven Greifstrategien bis hin zu präzisen Montagepipelines legen die Technologien den Grundstein für eine neue Generation autonomer Roboter, die außerhalb des Labors zuverlässig arbeiten.

Quelle: https://blogs.nvidia.com/blog/icra-research-robotics-simulation-to-real-world/