Die Robotikbranche erlebt eine Revolution in der Art, wie Maschinen neue Fähigkeiten erlernen. Führende Unternehmen setzen zunehmend auf menschliche Demonstrationen, um Robotern komplexe Aufgaben beizubringen. Statt Roboter direkt im Labor zu trainieren, entwickeln sie spezielle Geräte, die Menschen tragen oder halten können. Diese Geräte erfassen Bewegungen und Interaktionen in alltäglichen Umgebungen. Das gesammelte Material dient dann als Grundlage für das Training der Robotersysteme.
Wichtige Erkenntnisse
- Die Universal Manipulation Interface (UMI) ermöglichte erstmals die Datenerfassung ohne Roboter vor Ort.
- Unternehmen wie Sunday Robotics und X Square Robot entwickeln Datenerfassungsgeräte, die direkt auf die Roboterhände abgestimmt sind.
- Reward AI verfolgt einen breiteren Ansatz mit der Omnibody Hand, um Fähigkeiten auf verschiedene Roboterkörper zu übertragen.
- Die Effizienz der Datenerfassung und die Zuverlässigkeit der daraus resultierenden Roboteraktionen sind entscheidend.
Die Rolle der menschlichen Hand in der Robotik
Die menschliche Hand ist ein zentrales Element im neuesten Rennen um Robotikdaten. Firmen wie Sunday Robotics haben ihren Skill Capture Glove zusammen mit der Hand ihres Haushaltsroboters Memo entwickelt. X Square Robot bietet TwinDEX an, eine tragbare Erfassungslösung, die mit einem passenden Roboter-Endeffektor gekoppelt ist. Reward AI hat kürzlich seine Omnibody Hand vorgestellt, die menschliche Demonstrationen in ihre OM-1-Politik einspeist.
Ein gemeinsamer Gedanke verbindet diese Projekte: nützliche Manipulationsdaten sammeln, ohne für jede Demonstration einen vollständigen Roboter zu benötigen. Dies verändert die Ingenieurpraxis grundlegend. Die Wahl des Datenerfassungsgeräts wird zu einer frühen Entscheidung, die das gesamte System beeinflusst, von der Roboterhand über die Sensoren bis hin zur Lernmethode des Modells.
Faktencheck
Die UMI-Schnittstelle, eingeführt im Jahr 2024, war ein wichtiger Meilenstein. Sie verwendete einen Handgreifer mit einer GoPro-Kamera. Damit konnten Menschen Robotern Fähigkeiten in Alltagsumgebungen beibringen, ohne dass der Roboter anwesend sein musste.
Von der Forschung zur kommerziellen Anwendung
Bevor UMI auf den Markt kam, gab es bereits Forschungsbemühungen, menschliche Demonstrationen einfacher zu sammeln. Ende 2023 stellte Dobb·E „The Stick“ vor. Dies war ein Werkzeug aus einem Greifarm, einem iPhone und 3D-gedruckten Teilen. Menschen demonstrierten damit Haushaltsaufgaben. Das Projekt zeigte, wie einfache Hardware die Datenerfassung in echte Haushalte bringen kann.
UMI folgte im Februar 2024. Ein Team von Stanford, Columbia und dem Toyota Research Institute entwickelte es. Die Arbeit befasste sich mit den Details, die entscheidend sind, damit eine aufgezeichnete Demonstration zu einem zuverlässigen Roboterverhalten führt. Frühere Handheld-Ansätze hatten bereits die Portabilität etabliert. UMI wollte erweitern, was übertragen werden konnte, einschließlich schneller Bewegungen und koordinierter Zwei-Arm-Aufgaben.
„Ein Video einer erfolgreichen Manipulation ist nur der Anfang. Ein Trainingssystem benötigt eine nutzbare Aufzeichnung dessen, was sich wann bewegt hat und was der Roboter als Nächstes tun soll.“
Was der GoPro-Greifer leistete
Das ursprüngliche UMI-Gerät ermöglichte es einer Person, Objekte über einen Parallelbackengreifer zu manipulieren. Eine ähnlich konfigurierte Kamera und ein Greifer am Roboter halfen, dessen Sicht der Demonstration anzugleichen. Das Projekt zeigte das Anordnen von Tassen, dynamisches Werfen, das Falten von Stoffen und Geschirrspülen. Code und Hardware-Anleitungen wurden ebenfalls veröffentlicht.
Die weniger sichtbare Ingenieursleistung war ebenso wichtig. UMI kombinierte Weitwinkelbilder, Seitenspiegel und Trägheitsmessungen. Dies diente dazu, visuellen Kontext und Bewegung zu erfassen. Es stellte Aktionen relativ zur aktuellen Position des Greifers dar. Zudem kompensierte es Verzögerungen, die durch die Sensorik und Ausführung des Roboters entstehen. Diese Zeitunterschiede sind wichtig, zum Beispiel wenn ein Greifer ein Objekt während eines Wurfs loslassen muss.
Hintergrundinformationen
Die Entwicklung von Datenerfassungsgeräten, die speziell auf Roboterhände abgestimmt sind, ist eine direkte Antwort auf die Herausforderungen der Datenübersetzung. Je ähnlicher die menschliche Eingabe der Roboteraktion ist, desto weniger muss das System interpretieren und anpassen. Dies spart Trainingszeit und erhöht die Genauigkeit.
Spezifische Ansätze der Unternehmen
Sunday Robotics: Der Roboter um den Handschuh herum konzipiert
Sunday Robotics hat eine direkte Verbindung zu UMI durch Mitbegründer Cheng Chi. Chi beschrieb fast 100 Handschuh-Iterationen und einen Roboter, der um die Hand herum konzipiert wurde. Der Skill Capture Glove und die Hand des Memo-Roboters teilen Geometrie und Sensorplatzierung. Dies erleichtert die Übersetzung menschlicher Demonstrationen in Robotertrainingsdaten. Ein Verarbeitungssystem namens Skill Transform handhabt die restlichen Unterschiede, einschließlich menschlicher Körperproportionen und des Erscheinungsbilds menschlicher Arme in den Beobachtungen.
Die Firma meldet 778 erfolgreiche Faltungen bei 785 Versuchen, also eine Erfolgsquote von 99,1%. Dies betrifft neun Bekleidungskategorien in unbekannten Umgebungen. Sunday definiert „Zero-Shot“ hier als das Nicht-Erfordernis einer Anpassung an die Bewertungsumgebungen. Dies ist ein wichtiger Schritt, aber die Ergebnisse schließen Socken, BHs, Unterwäsche und Accessoires aus. Dies unterstreicht, dass ein Handschuh allein nicht alle Herausforderungen der Haushaltsrobotik löst, aber einen wertvollen Beitrag zur Datenerfassung leistet.
X Square Robot: Physische Übereinstimmung für effiziente Daten
X Square Robot's TwinDEX wendet die Idee der gemeinsamen Schnittstelle auf ein tragbares Gerät und eine Roboterhand an. Beide besitzen die gleiche Drei-Finger-, Neun-Freiheitsgrade-Architektur. Das Unternehmen berichtet von einer bis zu 5,3-mal höheren effektiven Datenerfassungsleistung im Vergleich zur Teleoperation am Roboter. Dies wird ergänzt durch Manipulationen, die aus wenigen hundert Roboter-freien Demonstrationen gelernt wurden.
Das Design legt Wert auf die Übereinstimmung von Erfassungshardware und Roboter in Bezug auf Geometrie, Kontakt und Sensorik. Eine engere physische Übereinstimmung reduziert den Übersetzungsaufwand zwischen Demonstration und Ausführung. Dies führt jedoch zu einem Kompromiss: Die genaue Anpassung an eine bestimmte Hand vereinfacht die Übertragung auf diese Hand. Die Wiederverwendung über wesentlich unterschiedliche Hardware bleibt eine separate Herausforderung.
- Vorteil: Reduzierter Übersetzungsaufwand.
- Nachteil: Potenzielle Einschränkung bei der Wiederverwendbarkeit für andere Robotertypen.
Reward AI: Konvergenz auf die Hand mit Omnibody
Reward AI führt die Omnibody Hand auf DexCap zurück, ein separates Forschungsprojekt aus dem Jahr 2024. DexCap verwendete tragbare Bewegungserfassung, um menschliche Handgelenk- und Fingerbewegungen zusammen mit Szenenbeobachtungen aufzuzeichnen. Die Lernpipeline übersetzte diese Demonstrationen in Roboteraktionen. Sie unterstützte auch optionale menschliche Korrekturen während der Roboterausführung.
Rewards neues Gerät verwendet sieben Freiheitsgrade. Es kombiniert taktile, Näherungs-, visuelle und Bewegungsinformationen. Das Unternehmen gibt an, dass OM-1 aus menschlichen Demonstrationen lernt, ohne Teleoperation oder Robotererfahrung in den Trainingsdaten der Richtlinie zu verwenden. Eine separate Steuerungsebene, die mit Reinforcement Learning in der Simulation trainiert wurde, übernimmt die Ausführung am Roboter. Reward AI gehört damit zu diesem breiteren Trend. Ihr Ansatz betont die Übertragung: eine gemeinsame Manipulationsschnittstelle, die mehrere Roboterkörper bedient.
Die Zukunft der Roboter-Trainingsdaten
Diese Projekte zeigen, dass Robotikunternehmen die Datenerfassungshardware zunehmend als Kern ihrer Technologie betrachten. Dies verändert die Bewertungskriterien. Die Erfassungsgeschwindigkeit ist wichtig, aber auch der Anteil der Aufnahmen, die die Verarbeitung überleben. Ein bequemes tragbares Gerät ist entscheidend, wenn Menschen es wiederholt nutzen müssen.
Die Anpassung an den Roboter ist wichtig, wenn ansonsten wertvolle Demonstrationen eine umfangreiche Übersetzung erfordern. Eine breite Datenabdeckung ist nur dann relevant, wenn das resultierende Verhalten unbekannte Objekte, Räume und Fehler übersteht. Zukünftige Vergleiche werden den gesamten Prozess berücksichtigen: den Aufwand für die Sammlung von Demonstrationen, die nutzbaren Daten, das noch erforderliche Robotertraining und die erreichte Zuverlässigkeit bei der Bereitstellung.
UMI lieferte ein einflussreiches Beispiel dafür, wie diese Teile zusammen entworfen werden können. Sunday, X Square und Reward erforschen nun verschiedene kommerzielle Antworten auf die gleiche grundlegende Frage: Was soll ein Mensch heute tragen oder halten, um die Roboter zu unterrichten, die morgen arbeiten werden?
