Das in San Francisco ansässige Unternehmen Markov Robotics setzt auf einen innovativen Ansatz zur Steuerung seiner Roboter. Es nutzt das Videomodell LTX-2.5 als zentrale „Policy“, die dem Roboter ermöglicht, komplexe Manipulationen durchzuführen. Diese Methode verspricht, die Entwicklung von Robotern mit allgemeiner Geschicklichkeit erheblich zu beschleunigen und die Abhängigkeit von umfangreichen Trainingsdaten zu reduzieren.
Wichtige Erkenntnisse
- Markov Robotics verwendet LTX-2.5 als Videomodell für Robotersteuerung.
- Das Modell generiert Videos der gewünschten Aufgabe, die der Roboter dann ausführt.
- LTX-2.5-Gewichte sind für Unternehmen unter 10 Millionen US-Dollar Jahresumsatz kostenlos nutzbar.
- Der Ansatz reduziert den Bedarf an aufwendigen Demonstrationsdaten.
- Die Token-Effizienz von LTX-2.5 ist entscheidend für den Einsatz in Echtzeit.
Ein Paradigmenwechsel in der Roboterprogrammierung
Markov Robotics hat einen bemerkenswerten Weg eingeschlagen, um das Problem der Robotergeschicklichkeit zu lösen. Anstatt Roboter durch unzählige Demonstrationen zu trainieren, wie sie eine Aufgabe ausführen sollen, beginnt das Unternehmen mit einem Modell, das bereits ein tiefes Verständnis dafür besitzt, wie sich Objekte in der physischen Welt verhalten. Dieses „Weltmodell“ ist das Herzstück ihrer Strategie.
„Der größte Engpass in der Robotik sind derzeit die Policies“, erklärt ein Ingenieur von Markov Robotics. „Die Hardware hat große Fortschritte gemacht.“ Diese Aussage unterstreicht die Überzeugung des Unternehmens, dass der Schlüssel zur nächsten Generation von Robotern in der Software liegt, die Entscheidungen trifft.
Faktencheck: LTX-2.5
- Veröffentlichung: 11. August 2026
- Architektur: 22B Diffusionstransformer
- Gewichte: Offen und kostenlos für Unternehmen unter 10 Mio. USD Jahresumsatz
- Besonderheit: Hohe Token-Effizienz, ermöglicht kostengünstige Inferenz auf eigener Hardware.
Wie ein Video zur Roboteranweisung wird
Die Methode von Markov Robotics ist überraschend direkt. Ein am Kopf des Roboters angebrachte Kamera erfasst die Szene. Das LTX-2.5-Modell generiert dann ein Video, das zeigt, wie die gewünschte Aufgabe ausgeführt wird. Der Roboter übersetzt dieses generierte Video anschließend in konkrete Bewegungen und Aktionen.
„Im Einsatz nehmen wir die Kopfkamera des Roboters, machen ein Bild von der Szene, die der Roboter sieht, und generieren ein Video dessen, was wir erledigt haben wollen. Dann führen wir einfach aus, was dieses Video vorgibt“, beschreibt das Team den Prozess. Dieser Ansatz verspricht, dass ein Teil des physikalischen Wissens bereits in den Modellgewichten verankert ist und nicht erst mühsam durch Demonstrationen gesammelt werden muss.
„Wenn der Roboter ein Objekt sieht, verfügt er dank des Weltmodells über viele Vorkenntnisse, wie stark er drücken muss. Wenn er also Glas aufnimmt, wird er es vorsichtig tun. Wenn er einen Stein aufnimmt, wird er etwas fester zugreifen.“
Feinabstimmung für reale Anwendungen
Die Fähigkeit von LTX-2.5, die Erwartung des Materialverhaltens unter Kontakt zu liefern, ist ein entscheidender Vorteil. Markov Robotics hat die Brücke von dieser Erwartung zur tatsächlichen Bewegung geschlagen. Yoav HaCohen, Leiter von LTX-Video, berichtet, dass LTX in weniger als einer Stunde feinabgestimmt werden konnte, um Roboteraktionstoken neben Videotoken vorherzusagen.
Diese schnelle Anpassung auf Basis eines umfangreichen Vortrainings ist das Kernargument für die Verwendung eines Weltmodells. Es ist ein fundamental anderer Ansatz als die bisherige Vision-Language-Action-Linie, bei der Roboter sequenziell Befehle ausführen. Das zugrundeliegende Prinzip – sich das Ergebnis vorzustellen und dann danach zu handeln – gewinnt in der Forschung immer mehr an Bedeutung.
Die Bedeutung des Token-Budgets für den praktischen Einsatz
Ein Weltmodell, das als Policy eingesetzt wird, muss innerhalb des Kontrollkreislaufs des Roboters funktionieren. Das bedeutet, es muss extrem schnell sein. Ein Modell, das ein schönes zehnssekündiges Video in drei Minuten erstellt, ist für einen Roboter, der eine fallende Flasche fangen muss, unbrauchbar. Hier kommt die Token-Effizienz von LTX-2.5 ins Spiel.
Das Markov-Team bewertet kontinuierlich neue offene Modelle. „Wir schauen uns jedes einzelne Modell an, das auf Hugging Face erscheint und möglicherweise für unsere Anwendungsfälle gut sein könnte“, so das Team. „Und LTX war das erste, das mit großem Vorsprung bestanden hat.“ Der Hauptgrund dafür ist die repräsentative Dichte des Modells.
Hintergrund: Token-Effizienz
Token-Effizienz bedeutet, dass das Modell eine gegebene Videosequenz mit weniger Datenpunkten (Tokens) darstellen kann. Dies reduziert den Rechenaufwand erheblich und macht die Echtzeit-Inferenz auf der Hardware des Unternehmens bezahlbar. LTX-Modelle zeichnen sich durch ein aggressives Latent-Space-Design aus, das eine Kompressionsrate von 1:192 erreicht.
„LTX wandelt Videos in weniger Tokens um als jedes andere Modell“, erklärt das Team. „Man gibt ihm die gleiche Menge an Informationen, und es benötigt einfach weniger Rechenleistung. Und kein anderes Modell hat diesen Ansatz in dem Maße verfolgt, wie es LTX getan hat.“ Diese architektonische Eigenschaft der LTX-Linie ist seit langem bekannt und entscheidend für die Anwendbarkeit in der Robotik.
Was LTX-2.5 für die physische KI wirklich liefert
Die Veröffentlichung von LTX-2.5 am 11. August stärkt die Grundlage für physische KI-Anwendungen. Drei Aspekte sind besonders relevant für Teams, die im Bereich der Robotik arbeiten:
- Ein roher, vortrainierter Checkpoint: Neben den Produktionsgewichten hat LTX auch LTX-2.5-Pre-Trained veröffentlicht. Dieser 22B Diffusionstransformer ist nicht feinabgestimmt und eignet sich ideal als Basis für spezialisierte Modelle, die an domänenspezifische Daten angepasst werden müssen. Egocentric-Manipulationsdaten, die typisch für Roboter sind, sehen ganz anders aus als „filmische“ Aufnahmen, für die andere Modelle oft optimiert sind.
- Ein besser destilliertes Modell: LTX bietet eine verbesserte destillierte Variante, die auf einem größeren Datensatz mit Reinforcement Learning nach dem Training basiert. Ziel ist es, nahezu volle Qualität wirtschaftlich auf vorhandener Hardware bereitzustellen. LTX berichtet von einer selbst gehosteten Generierung eines zehnsekündigen 720p-Clips in 6,8 Sekunden auf zwei NVIDIA GB200 Superchips.
- Sauberere Lizenzierung: LTX hat restriktive Drittanbieter-Abhängigkeiten reduziert, um den Weg durch rechtliche Prüfungen zu verkürzen. Dies ist entscheidend für Robotikunternehmen, deren feinabgestimmte Ableitung ein Kernbestandteil ist.
Eigentum als technische Notwendigkeit
Die kommerzielle Struktur ist untrennbar mit den technischen Anforderungen verbunden. Die Gewichte von LTX-2.5 sind für kommerzielle und produktive Nutzung durch Organisationen unter 10 Millionen US-Dollar Jahresumsatz unter der LTX-2.x Community License kostenlos. Darüber hinaus sind kostenpflichtige Lizenzen erforderlich. Teams können das Modell auf ihrer eigenen Infrastruktur feinabstimmen und Derivate erstellen.
Atharva Gundawar, Mitbegründer und CEO von Markov Robotics, betont die Bedeutung dieser Freiheit:
„Roboter zu trainieren bedeutet, ihnen beizubringen, wie sich die physische Welt tatsächlich verhält, nicht nur, wie sie aussieht. LTX-2.5 ist das offene Modell, das dem für uns am nächsten kommt, und die Möglichkeit, es auf unserer eigenen Hardware auszuführen und feinabzustimmen, macht es für echte Robotikarbeiten nutzbar.“
Das Team drückt es noch deutlicher aus: „Wir haben auf Open Source aufgebaut, weil es das Einzige ist, worauf man wirklich aufbauen kann. Forschungsfreiheit ist sehr wichtig, und das bekommt man viel mehr mit Open-Source-Modellen.“ Das Senden von Kopfkamera-Frames von Kundenstandorten ist oft datenschutzrechtlich problematisch. Latenzbudgets überleben keine Roundtrips zu externen Servern, und eine Policy, deren Gewichte man nicht selbst besitzt, kann jederzeit veraltet sein.
Offene Fragen und der Weg nach vorn
Die Veröffentlichung von LTX-2.5 senkt die Einstiegshürde erheblich, löst aber nicht alle Probleme. LTX hat keine Benchmarks für physische KI veröffentlicht – keine Erfolgsraten für Manipulation, keine Genauigkeit der Aktionsvorhersage und keine Latenzzeiten im geschlossenen Regelkreis auf roboterfähiger Hardware. Die bisherigen Qualitätsvergleiche konzentrieren sich auf „filmische Videos“ und nicht auf die für Roboter entscheidenden Aspekte wie die Greifkraft.
Der vortrainierte Checkpoint ist ein Basismodell, keine fertige Roboter-Policy. Um ihn in eine solche zu verwandeln, sind weiterhin aktionskonditionierte Daten, ein Decoder von generierten Frames zu Gelenkbefehlen und die Sicherheitsvalidierung erforderlich, die jeder physische Einsatz verlangt. Die Ergebnisse von Markov sind das Ergebnis ihrer eigenen Daten und ihres eigenen Stacks; der Checkpoint ist lediglich die Startlinie.
Die tiefere Frage, ob Videovorhersage tatsächlich die Kontaktdynamik kodiert, von der geschickte Manipulation abhängt, oder nur deren visuelles Erscheinungsbild, bleibt bestehen. Viele Teams investieren derzeit große Rechenressourcen, um dies herauszufinden. Markov wettet darauf, dass dies der Fall ist.
„Wir glauben, dass Videos bereits einen Großteil der physikalischen Realität enthalten, die man verstehen muss, um jede grundlegende Aufgabe zu erledigen“, so das Team.
Für Teams, die diese Hypothese mit ihren eigenen Daten testen möchten, ist der Weg kurz: Gewichte herunterladen, das Basissystem an die eigene Domäne anpassen und auf der eigenen Hardware ausführen. Die Produktionsgewichte sind unter Lightricks/LTX-2.5 auf Hugging Face zu finden; die rohe Basis für die Feinabstimmung ist ein separates Repository, Lightricks/LTX-2.5-Pre-Trained. Inferenzcode und der LTX-2 Trainer befinden sich im offiziellen Repository. Beide Repositories sind geschützt und erfordern vor dem Download die Annahme der Bedingungen.
„Das Spannende an Weltmodellen ist, dass wir zum ersten Mal einen Weg zu verallgemeinerbarer Geschicklichkeit sehen“, fasst ein Ingenieur von Markov zusammen.
