Niantic Spatial hat eine neue Bibliothek namens Places Library eingeführt, die 100 reale Umgebungen für das Training von Robotern bereitstellt. Diese Initiative ermöglicht es Robotikentwicklern, ihre Maschinen in virtuellen Nachbildungen realer Orte zu testen, bevor sie physisch eingesetzt werden. Die Umgebungen sind als USDZ-Assets verfügbar und unterstützen die Entwicklung und Evaluierung von künstlicher Intelligenz in Robotern.
Wichtige Erkenntnisse
- Die Places Library startet mit 100 realen Umgebungen für Robotersimulationen.
- Jedes Asset kombiniert einen Gaussian Splat für die Optik mit einer Kollisionsgeometrie.
- Kostenlose Muster sind verfügbar, erweiterter Zugang erfordert kostenpflichtige Pläne.
- Die Szenen-Neubeleuchtung befindet sich noch in der Beta-Phase für ausgewählte Partner.
Reale Umgebungen für verbesserte Roboterschulung
Die Places Library von Niantic Spatial stellt einen wichtigen Fortschritt im Bereich der Robotik dar. Sie bietet Entwicklern eine umfassende Sammlung von 100 realen Umgebungen. Diese Umgebungen sind speziell für das Training und die Evaluierung von Robotern konzipiert. Ziel ist es, die Kluft zwischen simulierter und realer Welt zu verringern.
Jede Umgebung besteht aus zwei Hauptkomponenten: einem Gaussian Splat für die visuelle Darstellung und einem Mesh für Kollisionen. Niantic Spatial betont, dass diese Assets maßstabsgetreu, mit der Schwerkraft ausgerichtet und kompatibel mit NVIDIA Isaac Sim, Isaac Lab sowie anderen OpenUSD-Simulatoren sind. Diese doppelte Darstellung sorgt dafür, dass das, was ein Roboter sieht, mit dem übereinstimmt, womit er physisch interagieren kann.
Fakt am Rande
Die Erfassung der Umgebungen erfolgt mithilfe einer gewöhnlichen 360-Grad-Kamera, nicht mit LiDAR. Dies unterstreicht die Effizienz und Zugänglichkeit der Methode.
Präzision in der Simulation: Sehen und Berühren
Für eine effektive Robotersimulation ist es entscheidend, dass die visuellen Informationen und die physikalischen Interaktionen des Roboters übereinstimmen. Stellen Sie sich einen Roboter vor, der sich einem Regal nähert. Wenn die sichtbare Kante des Regals und seine Kollisionsgrenze voneinander abweichen, erhält der Roboter widersprüchliche Informationen. Dies kann zu Fehlern im Verhalten führen.
Niantic Spatial verwendet MVSAnywhere, eine Forschungstechnologie, die Informationen aus einzelnen Bildern und mehreren Kameraansichten kombiniert, um die Tiefenschätzung zu verbessern. Diese Technologie ist ein wichtiger Bestandteil des Rekonstruktionsansatzes. Sie hilft dabei, realistische und präzise virtuelle Umgebungen zu schaffen, die für das Robotertraining unerlässlich sind.
„Die Places Library ist ein Wendepunkt für die Robotik. Sie ermöglicht es Entwicklern, Roboter in einem breiten Spektrum realer Szenarien zu trainieren, was die Übertragung auf die reale Welt erheblich verbessert.“
Praktische Anwendung und Flexions Erfolge
Ein konkretes Beispiel für die Wirksamkeit dieser Technologie liefert Flexion, ein Schweizer Robotik-Softwareunternehmen. Flexion hat in einer Zusammenarbeit mit Niantic Spatial und NVIDIA eine Navigationsrichtlinie in rekonstruierten Büroumgebungen trainiert. Dabei kamen Isaac Sim und Isaac Lab zum Einsatz.
Die Roboter von Flexion nutzten RGB-Kamerabilder, interne Sensordaten und eine Zielposition, um Geschwindigkeitsbefehle an einen separaten Bewegungscontroller zu senden. Flexion berichtete, dass die im Simulator trainierte Richtlinie ohne zusätzliche reale Welt anpassungen auf ein echtes Büro übertragen werden konnte. Sie bewältigte sogar Veränderungen wie umgestellte Möbel.
Hintergrundinformationen
Flexion konnte eine lokale Navigationsrichtlinie erfolgreich von der Simulation in die reale Welt übertragen, ohne zusätzliches Training in der realen Umgebung. Dies ist ein sogenannter „Zero-Shot-Transfer“.
Vielfältige Umgebungen und kommerzieller Zugang
Die Places Library bietet eine breite Palette an Umgebungen. Dazu gehören Lagerhallen und Außenbereiche. Beispiele reichen von einem medizinischen Lager auf Staten Island bis hin zu Straßen in London und San Francisco. Zwei Szenen, die Leake Street Arches in London und ein Palettenlager in Linden, New Jersey, stehen als kostenlose Muster zur Verfügung.
Für Robotik-Teams liegt der Reiz darin, Umgebungen nutzen zu können, die sie nicht selbst erfassen mussten. Dies spart Zeit und Ressourcen. Eine mögliche Anwendung ist die Evaluierung, bei der eine Navigationsaufgabe konstant gehalten wird, während sich die Umgebung ändert. So lässt sich testen, unter welchen Bedingungen das Roboterverhalten fehlschlägt.
Kommerzielle Angebote
- Evaluate-Stufe: Mindestens drei Monate Laufzeit, 15 Bibliotheks-Downloads, 15 Minuten Erfassungszeit pro Monat.
- Train-Stufe: Mindestens zwölf Monate Laufzeit, 100 Downloads, 60 Minuten Erfassungszeit pro Monat.
Diese Erfassungszeiten ermöglichen es Teams, zusätzlich zu den Katalogumgebungen eigene Standorte hinzuzufügen. Die genauen Preise sind auf Anfrage über den Vertrieb erhältlich.
Zukünftige Entwicklungen: Beleuchtung und Herausforderungen
Niantic Spatial arbeitet auch an der Weiterentwicklung der erfassten Szenen. Die Beta-Version von Gaussian Splat Relighting, die am 18. September angekündigt wurde, nutzt begleitende Geometrie, um Beleuchtungsänderungen zu generieren und auf die Splats zu übertragen. Dabei bleibt die zugrunde liegende Szenenstruktur erhalten. Das Unternehmen experimentiert mit verschiedenen Tageszeiten und wetterbedingten Erscheinungsbildern.
Der Zugang zu dieser Funktion ist derzeit auf ausgewählte Designpartner beschränkt und noch keine Self-Service-API. Niantic Spatial weist zudem darauf hin, dass bestimmte Oberflächen wie Glas, Fenster, scharfe Ecken und Innenflächen zusätzliche Validierung erfordern. Eine visuell nasse Oberfläche bedeutet beispielsweise nicht automatisch, dass die Simulation auch eine entsprechende Änderung der Traktion modelliert.
Die entscheidende Frage bleibt, wie stark diese Umgebungen das Training und die Evaluierung in der Praxis verbessern. Die Ankündigung der Places Library enthält keine quantifizierten Daten über die Steigerung der Erfolgsraten von Robotern in der realen Welt. Für Entwickler ist der nächste Test konkret: ob das Training in diesen erfassten Umgebungen zu einer besseren Leistung an einem unbekannten Einsatzort führt und wie viel Vorbereitung diese Szenen noch benötigen.
