Die neuesten Testergebnisse von GPT-6 Astra deuten auf eine bemerkenswerte Entwicklung im Bereich der Robotik hin. Das Modell übertrifft Open-Source-Baselines in Simulationstests und demonstriert beeindruckende Fähigkeiten bei der Objekterkennung und -manipulation. Diese Fortschritte könnten die Art und Weise, wie Roboter zukünftig gesteuert werden, grundlegend verändern.
Wichtige Erkenntnisse
- GPT-6 Astra erreichte 70,5% in einer MolmoSpaces-Bewertung.
- Das Modell zeigte 98% Erfolg bei ausgewählten RoboLab-Aufgaben.
- Bei komplexeren Aufgaben ist eine Kombination mit speziellen Robotik-Richtlinien vorteilhaft.
- Die Fähigkeit, von menschlichen Videodemonstrationen zu lernen, wurde gezeigt.
- Latenzzeiten und reale Zuverlässigkeit bleiben Herausforderungen.
Astra übertrifft Open-Source-Modelle in Simulationen
In einer aktuellen Bewertung der MolmoSpaces-Plattform erreichte GPT-6 Astra eine beeindruckende Leistung. Forscher Omar Rayyan berichtete am 14. September, dass Astra mit 70,5% alle verglichenen Open-Source-Modelle übertraf. Zum Vergleich: Cosmos3 erreichte 53,0%, MolmoAct-2 lag bei 38,6% und π0.5-OSS bei 34,5%.
Diese Ergebnisse basieren auf einem Subset des MolmoSpaces-v1-Benchmarks, der 200 Episoden umfasste. Die Modelle erhielten dabei externe und robotereigene RGB-Bilder zusammen mit dem Roboterstatus und lieferten kartesische Posen zurück. Der Konversationsverlauf wurde nach jeder Episode gelöscht.
Die Leistung von Astra ist signifikant, da sie zeigt, dass allgemeine KI-Modelle zunehmend in der Lage sind, komplexe visuell-sprachliche-Aktions-Aufgaben zu bewältigen. Dies wirft die Frage auf, ob die Robotik an einem eigenen „GPT-Moment“ steht, wie Forscher Mahi Shafiullah bemerkte.
Faktencheck: MolmoSpaces-Ergebnisse
- GPT-6 Astra: 70,5%
- Cosmos3: 53,0%
- MolmoAct-2: 38,6%
- Fable 5.1: 37,5%
- Gemini 3.8 Flash: 30,5%
Diese Zahlen verdeutlichen Astras Führung in diesem speziellen Vergleich.
Hohe Erfolgsquote bei RoboLab-Aufgaben
Ein weiterer Bericht, der von Max Zhaoshuo Li hervorgehoben wurde, zeigt Astras nahezu perfekte Leistung bei ausgewählten RoboLab-Aufgaben. Der technische Bericht, verfasst von Jiayi Su und Kollegen, verzeichnete eine Erfolgsquote von 49 von 50 Versuchen (98%) für die direkte Steuerung durch Astra bei zehn spezifischen Einarm-Aufgaben. Diese Aufgaben umfassten hauptsächlich das Aufnehmen und Platzieren von Objekten mit semantischen Anforderungen, wie das Unterscheiden von Größen und Farben oder das Stapeln von Blöcken.
Im Vergleich dazu erreichten spezialisierte Baselines wie π0.5 und Cosmos3-Nano-Policy jeweils nur 18 von 50 Erfolgen. Dies unterstreicht Astras Stärke bei Aufgaben, die ein Verständnis von Objekten und deren räumliche Beziehungen erfordern.
"Astra kann bemerkenswert gut abschneiden, wenn eine Aufgabe das Identifizieren von Objekten und das logische Denken über deren Bewegung belohnt." — Ein an der Entwicklung beteiligter Forscher
Herausforderungen bei komplexen Zwei-Arm-Aufgaben
Bei den anspruchsvolleren RoboDojo-Simulationen, die Zehn-Zwei-Arm-Aufgaben umfassten, zeigte Astra eine geringere Erfolgsquote von 26% (13 von 50 Versuchen). Interessanterweise verbesserte sich die Leistung auf 48% (24 von 50 Versuchen), wenn Astra mit einer gelernten Robotik-Richtlinie (π0.5) kombiniert wurde. Dabei übernahm π0.5 85,6% der Kontrollschritte, während Astra die restlichen 14,4% zur Korrektur nutzte.
Dies deutet darauf hin, dass die Stärke eines gelernten Aktionsschemas davon abhängt, wie gut seine motorischen Fähigkeiten zur jeweiligen Aufgabe passen. Generalisiertes Denken wird zu einem wichtigen Bestandteil der Robotersteuerung, ersetzt aber spezialisierte Robotikmodelle noch nicht vollständig.
Hintergrund: Latenzzeiten
Der Bericht weist explizit darauf hin, dass die Simulation Astra ermöglicht, "nachzudenken", während die Welt "wartet". Die angegebenen physikalischen Dauern schließen die Modell-Antwortlatenz nicht ein. Die Autoren identifizieren Latenz als ein ungelöstes Hindernis für den Echtzeit-Einsatz in der physischen Welt.
Roboterarme folgen menschlichen Videodemonstrationen
Die Fähigkeiten von Astra gehen über Simulationen hinaus. Wenli Xiao berichtete am 9. September, dass Astra erfolgreich einen Roboterarm steuerte, um eine neue Aufgabe auszuführen, nachdem es eine menschliche Videodemonstration über die Codex-App erhalten hatte. Xiao beschrieb den Erfolg beim ersten Versuch als "physikalisches In-Context-Lernen".
Eine technische Erklärung von Tonghe Zhang verdeutlicht die Arbeitsteilung: Das Modell ruft Bewegungsplanungstools auf und gibt Zielpositionen für den Endeffektor aus. Die umgebende Software übernimmt die inverse Kinematik, um diese Ziele in Gelenkbewegungen umzuwandeln. Dies zeigt die Anpassungsfähigkeit von Astra an Videoanweisungen, ohne dass das Modell direkt jede Ebene der Motorsteuerung übernimmt.
Küchen-Demo zeigt menschliche Interaktion
Andre Infantes Beiträge bieten Einblicke in die Schnittstellenarbeit bei realitätsnahen Anwendungen. In einem Küchensimulations-Experiment vom 14. September stieß GPT-6 zunächst auf ein Hindernis und stoppte. Nach einer Anweisung zum Weitermachen scheiterte ein zweiter Versuch, weil eine instabile simulierte Kontaktstelle ein Tablett durch den Greifer fallen ließ.
Am 15. September berichtete Infante über einen annähernden Erfolg bei einer Snack-Tablett-Aufgabe, nachdem er die Schnittstelle und die Hardware-Konfiguration angepasst hatte. Dieser dritte Versuch folgte auf zwei frühere, die aufgrund von Systemproblemen oder heruntergefallenen Objekten abgebrochen wurden. Diese Entwicklung dokumentiert nicht nur die Fortschritte des Modells, sondern auch die notwendige menschliche Iteration hinter den Ergebnissen.
Fortschritte in der Robotik: Ein Überblick
- MolmoSpaces: Astra übertrifft Open-Source-Baselines (70,5%).
- RoboLab: Nahezu perfekte Leistung bei einfachen "Pick-and-Place"-Aufgaben (98%).
- RoboDojo: Hybridansatz mit spezialisierten Richtlinien verbessert komplexe Zwei-Arm-Aufgaben von 26% auf 48%.
- Videodemonstrationen: Roboterarme lernen von menschlichen Bewegungen.
- Küchensimulation: Fortschritte bei mehrstufigen Aufgaben, aber menschliche Eingriffe sind noch notwendig.
Der Weg zum humanoiden Roboter
Diese Entwicklungen untermauern die Ambitionen von OpenAI im Bereich der Robotik, nachdem Sam Altman bestätigt hatte, dass OpenAI "definitiv" einen humanoiden Roboter bauen wird. Ein allgemeines Modell, das unbekannte Szenen interpretiert, Demonstrationen folgt und fehlgeschlagene Aktionen überdenkt, könnte nützliche Fähigkeiten für verschiedene Roboterkörper bereitstellen.
Die aktuellen Ergebnisse sind jedoch noch nicht ausreichend für einen vollständig einsetzbaren humanoiden Roboter. Die Benchmark-Subsets messen ausgewählte Manipulationsaufgaben, die physischen Demos verfügen nicht über breite Wiederholungstestergebnisse, und das Küchenexperiment erforderte Interventionen zwischen den Läufen. Eine ganzkörperliche Zuverlässigkeit oder ein kontinuierlicher Betrieb in einem sich verändernden Haushalt wurden bisher nicht nachgewiesen.
Die nächsten entscheidenden Tests werden sein, ob diese Fortschritte bei einer breiteren Aufgabenabdeckung, gemessenen Echtzeit-Reaktionszeiten und wiederholten physischen Versuchen mit Fehlerbehebung bestehen bleiben. Vorerst stärkt Astras wachsende Sammlung von Ergebnissen den Fall für Allzweckmodelle in der Robotik – und die hybriden Ergebnisse weisen spezialisierten Motorrichtlinien eine klare Rolle zu, um dieses Denken in die Tat umzusetzen.
