NVIDIA zeigt, wie KI-Agenten virtuelle Versuchswelten bauen

NVIDIA zeigt am 8. Oktober 2026, wie KI-Agenten aus einer Idee interaktive Simulationen bauen können. Der interessante Teil ist weniger ein besonders schöner Roboterfilm als die Verbindung von Programmierung, Physik und überprüfbaren Ergebnissen. Für Entwickler eröffnet sich damit ein Weg, virtuelle Versuchsumgebungen gezielter aufzubauen und Änderungen direkt auszuprobieren.

Das Wichtigste in Kürze

• KI-Agenten können Simulationsbausteine verbinden und Anwendungscode dafür schreiben.
• Omniverse stellt dafür getrennte Werkzeuge für Szenendaten, Physik und Sensorbilder bereit.
• OpenUSD hält die virtuelle Welt als bearbeitbare Szenenbeschreibung zusammen.
• Mehrere Bibliotheken sind Vorabversionen. Ein sinnvoller Einstieg beginnt mit einem kleinen, messbaren Versuch.

Was aus einem Sprachauftrag werden kann

In NVIDIAs aktueller Projektsammlung verbindet GPT-6 Astra unter anderem eine Lagerumgebung mit einem humanoiden Roboter und einer interaktiven Steuerung. Ein anderes Experiment lässt simulierte Roboter Sportbewegungen ausführen. NVIDIA nennt dabei 64 erfolgreiche Überquerungen einer einzelnen Hürde in 100 Simulationsversuchen. Das ist ein Ergebnis dieser Versuchsanordnung, keine Erfolgsquote für reale Roboter.

Daran lässt sich eine nützliche Veränderung ablesen: Der Agent liefert nicht bloß eine Erklärung, wie ein Simulator aussehen könnte. Er arbeitet an der Software, mit der eine Idee untersucht werden kann. Unsere Einordnung: Besonders wertvoll wäre das dort, wo eine technische Frage bislang am Aufwand für die Versuchsumgebung scheitert. Ein kleines Team könnte beispielsweise zuerst klären, welche Abmessungen eines Gangs für seinen geplanten Versuchsaufbau überhaupt interessant sind.

Ein solcher Versuch sollte eine enge Frage beantworten. „Baue eine intelligente Fabrik“ enthält zu viele unklare Ziele. „Zeige, ob dieser Körper durch den vorgegebenen Durchgang passt“ lässt sich dagegen in Eingaben, sichtbare Zustände und ein Ergebnis zerlegen. Der Unterschied liegt in der Aufgabenbeschreibung: Eine Simulation wird brauchbar, wenn sie nachvollziehbar entscheidet, was im jeweiligen Versuch als Erfolg zählt.

Die virtuelle Welt braucht mehrere Bausteine

Die Omniverse-Entwicklerseite beschreibt einen Werkzeugkasten, dessen Funktionen sich einzeln in Anwendungen einbauen lassen. Physikberechnung, Bilddarstellung und gemeinsame Szenendaten sind darin getrennte Aufgaben. Die dort angebotenen Agenten-Skills sind Anleitungen für begrenzte Arbeitsabläufe, etwa das Vorbereiten von Simulationsobjekten oder das Erstellen eines Betrachters. Das richtet sich an Entwickler, die vorhandene Komponenten verbinden wollen.

OpenUSD ist dabei die gemeinsame Beschreibung der Szene. Laut Projektdokumentation lassen sich Objekte, Materialien und weitere Szeneneigenschaften über Anwendungen hinweg organisieren. Änderungen können in separaten Ebenen liegen, ohne die ursprünglichen Daten zu überschreiben. Für einen Versuchsaufbau ist das hilfreich: Die Ausgangsszene bleibt erhalten, während eine Variante beispielsweise eine andere Objektanordnung erhält. OpenUSD beschreibt die Welt; daraus allein folgt noch keine korrekt berechnete Bewegung.

Für Bewegungen bietet die Bibliothek ovphysx eine eigenständige Anbindung an die Physik-Engine PhysX. Ihre Dokumentation nennt sowohl CPU- als auch GPU-Simulation und benötigt keine vollständige Omniverse-Kit-Installation. Die Schnittstelle wird allerdings ausdrücklich als noch nicht ausgereifte Vorabversion bezeichnet. Wer damit experimentiert, sollte deshalb die verwendeten Paketstände festhalten und Aktualisierungen bewusst prüfen.

ovrtx übernimmt die Darstellung und Simulation von Sensoren wie Kameras, Lidar und Radar. Virtuelle Sensordaten dienen dabei einem anderen Zweck als ein Bild für menschliche Betrachter. Auch ovrtx ist derzeit Vorabsoftware. Die gemeinsame Laufzeitschicht ovstage hält Szenendaten für mehrere Omniverse-Bibliotheken bereit. Diese Trennung hilft beim Denken über Fehler: Eine richtige Geometrie kann mit einer ungeeigneten Sensoreinstellung trotzdem ein unbrauchbares Messergebnis erzeugen.

So wäre ein überschaubarer Einstieg aufgebaut

Als erster Schritt empfiehlt sich aus unserer Sicht ein vorhandenes Minimalbeispiel statt einer komplett neu erfundenen Umgebung. Das ovrtx-Repository bietet Einstiege für Python und C. Ein Entwickler könnte zunächst eine bekannte Szene darstellen, die Kameraposition verändern und prüfen, ob die Ausgabe zur Änderung passt. Erst danach kämen Physik oder die automatische Bearbeitung durch einen Agenten hinzu. So bleibt sichtbar, welcher Baustein welchen Effekt verursacht.

Im nächsten Schritt braucht das Objekt passende Eigenschaften. SimReady Foundation definiert dafür Anforderungen und Profile für unterschiedliche Einsatzfälle. Die Prüfung eines Profils sagt, ob ein Objekt die vorgesehenen technischen Anforderungen erfüllt. Sie ist aus unserer Sicht ein guter vorgeschalteter Filter: Eine später überraschende Bewegung lässt sich schwer beurteilen, wenn bereits die Eingangsdaten ungeklärt sind.

Ein sinnvoller Arbeitsauftrag könnte lauten: Verwende die bestehende Szene, ändere ausschließlich die Position des Hindernisses und protokolliere, ob sich die Körper berühren. Der Agent sollte dann die vorgenommene Änderung und die zugehörige Ausgabe zeigen. Das ist ein vorgeschlagenes Vorgehen, kein von uns durchgeführter Test. Sein Vorteil wäre die Vergleichbarkeit: Ausgangszustand und Variante unterscheiden sich an einer bewusst gewählten Stelle.

Für Bildungsprojekte oder technische Prototypen dürfte dieser kleinteilige Einstieg besonders interessant sein. Wer bereits Szenen und Sensordaten besitzt, könnte anschließend prüfen, welche Abweichungen für die eigene Aufgabe relevant sind. Die grundsätzliche Herausforderung des Übergangs von virtuellen zu echten Umgebungen haben wir im Beitrag über World Labs und das Robotertraining in Simulationen eingeordnet. Eine zusätzliche Versuchsumgebung erweitert die Möglichkeiten, ersetzt aber keine Messung am tatsächlichen System.

Der Gewinn wäre eine besser beantwortbare Frage

Die Beispiele machen einen Entwicklungsweg sichtbar: KI kann helfen, eine technische Vermutung in ausführbare Software zu übersetzen. Ob daraus Zeitersparnis entsteht, hängt auch davon ab, wie viel Nacharbeit die Umgebung benötigt. Für eine pauschale Kosten- oder Geschwindigkeitszusage liefern die vorliegenden Projekte keine Grundlage.

Der nächste sinnvolle Maßstab wäre daher ein wiederholbarer kleiner Versuch: dieselbe Szene, dieselbe Änderung, ein verständliches Ergebnis. Gelingt das, lässt sich die Umgebung um weitere Fragen erweitern. Genau darin liegt die praktische Aussicht dieser Werkzeuge: Mehr Ideen könnten den Schritt von einer Skizze zu einem überprüfbaren Experiment schaffen.