Forscher des Massachusetts Institute of Technology (MIT) und der University of Southern California haben ein neuartiges Ultraschall-Armband entwickelt, das Handbewegungen in Echtzeit vorhersagt. Dieses tragbare Gerät blickt durch die Haut, um die "Fäden" der Hand – Muskeln und Sehnen – zu verfolgen. Es könnte die Steuerung von Robotern und die Interaktion in virtuellen Welten revolutionieren.
Die Technologie, die in der Fachzeitschrift Nature Electronics veröffentlicht wurde, nutzt künstliche Intelligenz, um interne biologische Veränderungen in die komplexen Freiheitsgrade der Hand zu übersetzen. Dies könnte eine intuitivere Mensch-Maschine-Interaktion ermöglichen und die Datenerfassung für die Robotik erheblich vereinfachen.
Wichtige Erkenntnisse
- Das MIT-Armband nutzt Ultraschall, um Handbewegungen durch die Haut zu verfolgen.
- Eine KI-Algorithmus übersetzt diese Daten in die 22 Freiheitsgrade der Hand.
- Es ermöglicht die drahtlose Steuerung von Roboterhänden und VR-Anwendungen.
- Die Technologie könnte die Datenerfassung für die Entwicklung humanoider Roboter vereinfachen.
- Potenzielle Anwendungen reichen von virtueller Realität bis zur Roboterchirurgie.
Ein Blick unter die Haut: Wie das Armband funktioniert
Die menschliche Hand ist ein Meisterwerk der Biomechanik. Sie wird von 34 Muskeln und über 100 Sehnen und Bändern koordiniert. Diese Komplexität macht ihre Nachbildung und Steuerung in der Robotik zu einer großen Herausforderung.
Herkömmliche Methoden zur Erfassung von Handdaten, wie Kameras, sensorbestückte Handschuhe oder Elektromyographie (EMG), haben oft Nachteile. Kameras können durch Verdeckungen der Hand behindert werden. Sensorhandschuhe sind präzise, aber oft klobig und schränken das natürliche Tastgefühl ein. EMG, das elektrische Signale in den Muskeln misst, ist anfällig für Störungen und oft nicht empfindlich genug für subtile, kontinuierliche Bewegungen.
Faktencheck
- Die menschliche Hand besitzt 34 Muskeln und über 100 Sehnen und Bänder.
- Das Armband erfasst 22 Freiheitsgrade (DoF) der Hand.
- Die Technologie wurde in Nature Electronics veröffentlicht.
Das MIT-Team, unter der Leitung von Professor Xuanhe Zhao, wählte Ultraschallbilder. Diese bieten eine hochauflösende Ansicht des mechanischen Zustands des Arms. Gengxi Lu, einer der Forscher, erklärte dazu:
"Die Sehnen und Muskeln in Ihrem Handgelenk sind wie Fäden, die an Marionetten ziehen."Indem das System ein Echtzeitbild dieser "Fäden" erzeugt, kann die KI genau ableiten, wie die Finger positioniert sind.
Der Prototyp des Geräts ist etwa so groß wie eine Smartwatch und verfügt über einen Ultraschall-Aufkleber. Dieser ist mit einer kompakten Elektronik verbunden, die ungefähr die Größe eines Smartphones hat. Diese Elektronik ist für die Bildgebung der internen Strukturen des Handgelenks zuständig.
Training der Künstlichen Intelligenz
Um das System zu trainieren, trugen Freiwillige das Armband. Ihre Hände wurden gleichzeitig von einer Multi-Kamera-Einrichtung überwacht. Die KI lernte, spezifische Muster in den Schwarz-Weiß-Ultraschallbildern mit den tatsächlichen Handpositionen abzugleichen, die von den Kameras erfasst wurden.
Nach dem Training konnte das Armband Gesten von Benutzern mit unterschiedlichen Handgrößen präzise vorhersagen. Es war sogar in der Lage, komplexe Aufgaben wie die amerikanische Gebärdensprache zu entschlüsseln. Dies zeigt die Robustheit und Anpassungsfähigkeit des Systems.
Hintergrund: Daten als Engpass in der Robotik
Die Robotikbranche bewegt sich zunehmend hin zu einer "Data-First"-Philosophie. Das Sammeln hochpräziser Daten menschlicher Bewegungen wird oft als wichtiger angesehen als die Roboterhardware selbst. Unternehmen wie Sunday Robotics haben ihre "Skill Capture Gloves" über 100 Mal weiterentwickelt, bevor sie das Design ihrer Roboter finalisierten. Sie argumentieren, dass Daten der Hauptengpass sind, der die Produktion von Robotern behindert.
Das MIT-Armband könnte diesen Engpass deutlich verringern, indem es eine effizientere und natürlichere Datenerfassung ermöglicht.
Praktische Anwendungen: Von Klavierspiel bis Chirurgie
In ersten Demonstrationen nutzten die Forscher das Armband, um eine Roboterhand drahtlos zu steuern. Die Roboterhand spielte Klavier und warf einen Basketball in einen Korb. Da das Gerät tragbar und nicht störend ist, könnten menschliche Bediener Trainingsdemonstrationen natürlicher durchführen als mit bestehenden Exoskelett-basierten Systemen.
Ein Beispiel hierfür ist Sharpa Robotics. Dieses Unternehmen demonstrierte das autonome Apfelschälen mithilfe eines "Co-Piloten" und eines Exoskeletts, um die 63 Freiheitsgrade ihres SharpaNorth-Humanoiden zu steuern. Solche Setups sind jedoch kognitiv sehr anspruchsvoll für den Bediener. Ein tragbarer Ultraschall-Tracker könnte eine intuitivere "Marionetten"-Interaktion bieten. So könnten sich Bediener auf die Aufgabe konzentrieren und weniger auf die Schnittstelle.
Zukunftsvisionen: VR und Roboterchirurgie
Das Forschungsteam sieht das Armband als universelle Schnittstelle für virtuelle und physische Umgebungen. In VR-Tests konnten Benutzer virtuelle Objekte per "Pinch-Geste" vergrößern und reibungslos manipulieren. Professor Zhao ist überzeugt, dass die Technologie bestehende Hand-Tracking-Techniken in AR/VR-Headsets sofort ersetzen könnte.
Die ambitionierteste Anwendung liegt jedoch im Bereich der "Embodied AI". Durch das Sammeln großer Datensätze von Handbewegungen verschiedener Benutzer hoffen die Forscher, humanoide Roboter für anspruchsvolle Geschicklichkeitsaufgaben zu trainieren. Dazu gehört beispielsweise die Roboterchirurgie, wo höchste Präzision erforderlich ist.
Herausforderungen und der Weg nach vorn
Obwohl die Ergebnisse vielversprechend sind, ist das System noch kein marktreifes Produkt. Der aktuelle Prototyp besteht aus einem Smartwatch-großen Sensor und einer Elektronik, die etwa die Größe eines Mobiltelefons hat. Die nächste Priorität des Teams ist die weitere Miniaturisierung.
Zudem muss die KI auf eine noch breitere Palette von Gesten trainiert werden. Dies soll eine "Zero-Shot"-Benutzerfreundlichkeit für jeden Träger gewährleisten, also die Fähigkeit, unbekannte Gesten sofort zu erkennen.
Technische Hürden
- Aktueller Prototyp ist noch nicht miniaturisiert genug für den Massenmarkt.
- Es fehlt an haptischem Feedback für Aufgaben mit feiner Kraftkontrolle.
- Die KI muss für eine breitere Gestenpalette trainiert werden.
Ein weiterer Punkt ist das Fehlen von haptischem Feedback. Hochwertige professionelle Werkzeuge, wie das niederländische Manus-System, integrieren dieses. Für Aufgaben, die eine feine Kraftkontrolle erfordern – bei denen ein Bediener den "Widerstand" eines Objekts spüren muss, um keine "unendliche Kraft" anzuwenden – bleibt das Fehlen taktiler Hinweise eine Hürde für eine hochpräzise Teleoperation.
Dennoch stellt der "Marionettenfaden"-Ansatz des MIT einen bedeutenden Schritt dar. Er bringt uns einer Welt näher, in der die Steuerung eines 100.000-Dollar-Humanoiden oder eines virtuellen Skalpells so einfach ist wie das Anlegen einer Uhr.
