NVIDIA und Hugging Face haben eine umfassende technische Zusammenarbeit angekündigt, um die Entwicklung von Open-Source-Robotik zu standardisieren. Diese Partnerschaft integriert NVIDIAs zentrale physische KI-Frameworks, darunter Isaac GR00T 1.7 und Isaac Teleop, direkt in die Open-Source-Bibliothek LeRobot von Hugging Face. Ziel ist es, eine durchgängige Pipeline für die Forschung an humanoiden Robotern und Automatisierung zu schaffen.
Die Initiative verbindet NVIDIAs 3 Millionen Robotik-Entwickler mit den 16 Millionen KI-Entwicklern von Hugging Face. Dies soll die bisher fragmentierte Landschaft der physischen KI-Entwicklung überwinden und einen einheitlichen Ansatz für Simulation, Datenerfassung und Hardware-Bereitstellung bieten.
Wichtige Erkenntnisse
- NVIDIA und Hugging Face integrieren Kern-KI-Frameworks in LeRobot.
- Die Zusammenarbeit schafft eine durchgängige Open-Source-Pipeline für Robotik.
- Isaac GR00T 1.7 und Isaac Teleop sind bereits Teil des LeRobot-Ökosystems.
- NVIDIAs Cosmos 3 Weltmodell wird zukünftig integriert.
- Die Partnerschaft unterstützt die Edge-Bereitstellung auf offenen Humanoid-Plattformen wie Reachy 2.
Eine vereinheitlichte Architektur für physische KI
Die Entwicklung physischer KI war lange Zeit durch isolierte Werkzeuge und fragmentierte Arbeitsabläufe gekennzeichnet. Entwickler mussten oft individuelle Simulationsumgebungen, proprietäre Datenstrukturen und getrennte Hardware-Plattformen nutzen. Die neue Kooperation soll diese Hürden beseitigen, indem sie NVIDIAs grundlegende Tools direkt in die offenen Workflows von LeRobot integriert.
Anstatt dass Entwickler eigene Daten-Ingestion-Schichten aufbauen müssen, werden drei zentrale NVIDIA-Tools in das Open-Source-Ökosystem eingebracht:
- NVIDIA Isaac Teleop: Dieses Open-Source-Framework ermöglicht die Erfassung hochwertiger menschlicher Demonstrationen von externen Geräten. Die Daten werden in standardisierten, interoperablen Formaten erfasst, die nativ in LeRobot integriert sind.
- NVIDIA Isaac GR00T 1.7: Als offenes und kommerziell nutzbares Roboter-Grundlagenmodell wird GR00T 1.7 LeRobot-Workflows nutzen, um die Nachbearbeitung und Bereitstellung zu vereinfachen. Dies erleichtert die Anpassung allgemeiner Richtlinien an spezifische Roboterkonfigurationen.
- NVIDIA Cosmos 3: Dieses wegweisende Welt-Grundlagenmodell, das einen Paradigmenwechsel hin zu vision-basierten Welt-Aktionsmodellen darstellt, soll in naher Zukunft integriert werden. Es wird Entwicklern ermöglichen, synthetische Daten zu generieren und Umgebungen direkt innerhalb des LeRobot-Ökosystems zu simulieren.
"Open Source ist der Weg, wie ein Forschungsfeld fortschrittliche Forschung in etwas verwandelt, das Menschen studieren, anpassen und darauf aufbauen können", sagte Thomas Wolf, Mitbegründer und Chief Science Officer bei Hugging Face. "Mit NVIDIA Isaac GR00T 1.7 und Isaac TeleOp in LeRobot können Robotik-Entwickler heute gemeinsame Modelle, Daten und Workflows nutzen, um Roboter im Open-Source-Bereich zu trainieren und zu bewerten."
Schnelle Fakten
- NVIDIA hat 3 Millionen Robotik-Entwickler.
- Hugging Face hat 16 Millionen KI-Entwickler.
- Die Integration soll die Lücke zwischen Simulation und realer Anwendung schließen.
- LeRobot ist eine Open-Source-Bibliothek für Training, Ausführung und Austausch von Robotik-Datensätzen.
Das offene Ökosystem nutzen
Diese Ankündigung baut auf einer Reihe aggressiver Schritte von Hugging Face im Bereich Robotik im letzten Jahr auf. Seit der Übernahme von Pollen Robotics und der Einführung zugänglicher Testumgebungen wie HOPEJr hat sich die Plattform darauf konzentriert, die Datenschicht der physischen Automatisierung zu erfassen.
Hugging Face hat kürzlich mit dem BitRobot Network zusammengearbeitet, um HIW-500 zu hosten, einen massiven 10-TB-Datensatz für humanoide Roboter in realen Heimumgebungen. Dieser wurde in das komprimierte LeRobot-Format umgewandelt, um Infrastrukturbarrieren für kleinere Forschungsteams zu senken.
Hintergrund: LeRobot
LeRobot ist eine Open-Source-Bibliothek, die das Training, die Ausführung und den Austausch von Robotik-Datensätzen vereinfacht. Sie zielt darauf ab, die Zusammenarbeit in der Robotik-Community zu fördern und den Zugang zu fortschrittlichen KI-Modellen für Roboter zu demokratisieren. Durch die Standardisierung von Datenformaten und Workflows können Entwickler effizienter arbeiten und ihre Ergebnisse teilen.
Die Integration von NVIDIAs Tools in dieses Ökosystem löst einen weiteren Engpass: die Simulation und Validierung. Neben den Kernmodellintegrationen verbindet die Zusammenarbeit mehrere leistungsstarke Rechenressourcen direkt mit LeRobot. Entwickler können nun auf NVIDIA Isaac Sim und Isaac Lab-basierte Simulationsframeworks zugreifen, um Richtlinien zu testen, bevor sie auf physischer Hardware eingesetzt werden.
Zusätzlich wurde NVIDIAs Isaac Lab-Arena in den LeRobot Environment Hub integriert. Dies ermöglicht Teams ein schnelles Prototyping komplexer Umgebungen und die Bewertung von Richtlinien wie GR00T, Pi oder SmolVLA.
Hardware am Horizont
Ein entscheidender Aspekt dieser Pipeline ist die Unterstützung der Edge-Inferenz. Die Zusammenarbeit umfasst die Integration von NVIDIA Jetson Thor mit der Reachy 2 Plattform von LeRobot. Jetson Thor, von NVIDIA als das Hardware-Gehirn der nächsten Generation von Referenz-Humanoiden vorgestellt, wurde entwickelt, um die intensive multimodale Verarbeitung von Vision-Language-Action (VLA)-Modellen nativ auf physischen Maschinen zu bewältigen.
Für eine Community, die derzeit mit kundenspezifischen, 2.500 US-Dollar teuren, 3D-gedruckten bipedalen Plattformen experimentiert, ist die Botschaft von NVIDIA und Hugging Face klar: Durch die Bündelung von standardisierter Datenerfassung, Simulationsvalidierung und hardwareoptimierter Bereitstellung in einer einzigen Open-Source-Pipeline versuchen sie, die Forschungsgemeinschaft vor den "gefährlichen Black-Box-Systemen" zu schützen, die geschlossene Unternehmens-Robotiklabore dominieren.
Die Frage bleibt, ob diese Software-Standardisierung die erheblichen physischen Unterschiede heterogener Roboterhardware erfolgreich überwinden kann. Doch die Werkzeuge, dies zu versuchen, liegen nun offen auf dem Tisch.
