Generative Modelle erstellen interaktive Realweltsimulatoren, was LeCun ziemlich cool findet

Generative Modelle, die auf Internetdaten trainiert werden, revolutionieren die Art und Weise, wie Text-, Bild- und Videoinhalte erstellt werden. Einige Forscher gehen davon aus, dass der nächste Meilenstein generativer Modelle möglicherweise die Fähigkeit sein wird, alle Aspekte menschlicher Erfahrungen auf der Welt zu simulieren, beispielsweise wie man ein Auto auf der Straße fährt oder wie man Mahlzeiten zubereitet.

Mit Hilfe sehr umfassender realer Simulatoren können Menschen heutzutage mit verschiedenen Szenen und Objekten interagieren und Roboter können aus simulierten Erfahrungen lernen, um das Risiko physischer Schäden zu vermeiden.

Eines der größten Hindernisse beim Aufbau eines solchen realen Simulators liegt jedoch in den verfügbaren Datensätzen. Obwohl es im Internet Milliarden von Texten, Bildern und Videoclips gibt, decken verschiedene Datensätze unterschiedliche Informationsachsen ab, und diese Datensätze müssen zusammengeführt werden, um ein realistisches Erlebnis der Welt zu simulieren. Beispielsweise enthalten gepaarte Textbilddaten umfangreiche Szenen und Objekte, aber nur wenige Videountertitel sowie Frage- und Antwortdaten enthalten umfassende Aktivitätsbeschreibungen auf hoher Ebene, aber nur wenige Bewegungsdetails auf niedriger Ebene mechanische Bewegungen; Roboterdaten enthalten zwar umfangreiche Roboterbewegungen, aber die Menge ist begrenzt

Die oben aufgeführten Informationsunterschiede sind natürlich und schwer zu überwinden, was es schwierig macht, eine reale Simulation zu erstellen, die darauf abzielt, die reale Erfahrung zu erfassen der realen Welt bringt Schwierigkeiten mit sich.

In diesem Artikel untersuchen Forscher von UC Berkeley, Google DeepMind, MIT und anderen Institutionen UniSim, einen universellen Simulator, der reale Interaktionen durch generative Modelle lernt, und machen damit den ersten Schritt beim Aufbau eines universellen Simulators. UniSim kann beispielsweise simulieren, wie Menschen und Agenten mit der Welt interagieren, indem es Anweisungen auf hoher Ebene wie „Öffne eine Schublade“ und die visuellen Ergebnisse von Anweisungen auf niedriger Ebene simuliert.

• Papieradresse: https://arxiv.org/pdf/2310.06114.pdf
• Papier-Homepage: https://universal-simulator.github.io/unisim/

Dieses Papier kombiniert große Datenmengen (einschließlich Internet-Text-Bild-Paare, umfangreiche Daten aus Navigation, menschlichen Aktivitäten, Roboteraktionen usw. sowie Daten aus Simulationen und Renderings) in einem bedingten Videogenerierungsrahmen . Durch die sorgfältige Orchestrierung umfangreicher Daten entlang verschiedener Achsen zeigt dieses Papier, dass UniSim erfolgreich Erfahrungen aus verschiedenen Datenachsen zusammenführen und über die Daten hinaus verallgemeinern kann, um durch eine feinkörnige Bewegungssteuerung statischer Szenen und Objekte umfassende Interaktionen zu ermöglichen.

Das folgende Video zeigt, wie UniSim ein Beispiel mit einem langen Interaktionshorizont simuliert. Das Video zeigt, dass UniSim acht Roboteraktionsanweisungen in einem Atemzug simuliert:

UniSims Simulation menschlicher Handlungen:

UniSims RL-Strategie Der simulierte Einsatz sieht wie folgt aus:

Branchenexperten wie Yann LeCun, Chef-KI-Wissenschaftler bei Meta, und Jim Fan, leitender Forschungswissenschaftler bei NVIDIA, haben die Forschung weitergeleitet. LeCun bewertete dies mit „cool“

Jim Fan sagte, dass diese Arbeit sehr interessant sei. Das Videodiffusionsmodell wird als datengesteuerte Physiksimulation verwendet, bei der ein Agent optimale Aktionen planen, erkunden und lernen kann, ohne die Roboterhardware zu berühren oder Schaden anzurichten. Man kann sagen, dass LLM nicht nur ein Betriebssystem, sondern auch ein vollständiger Realitätssimulator ist

Sherry Yang, die Erstautorin des Artikels und Doktorandin an der University of California, Berkeley, sagte: „ Das Erlernen realer Modelle wird zur Realität.“

Simulation realer Interaktionen

Wie in Abbildung 3 gezeigt, kann UniSim eine Reihe umfangreicher Aktionen in der Küchenszene simulieren, darunter Händewaschen, Schüsselhalten, Karottenschneiden und Händetrocknen. Oben rechts in Abbildung 3 sind verschiedene Schalter zu sehen, während unten in Abbildung 3 zwei Navigationsszenen zu sehen sind

Der Inhalt, der neu geschrieben werden muss, entspricht der Navigationsszene unten rechts in Abbildung 3

Entsprechend der Navigationsszene in der unteren rechten Ecke von Abbildung 3 oben

Abbildung 4 unten zeigt ein Beispiel dafür, wie UniSim 8 Interaktionen nacheinander autoregressiv simuliert

UniSim unterstützt nicht nur umfangreiche Aktionen und die Interaktion über große Entfernungen kann auch sehr unterschiedliche und zufällige Umgebungsveränderungen bewirken. Nach dem Entfernen des oberen Handtuchs weisen die angezeigten Objekte beispielsweise Diversität auf (siehe Abbildung 5 unten, links).

UniSim-Migrationsergebnisse in der realen Welt. Der wahre Wert von UniSim liegt in der Simulation der realen Welt. Abbildung 7 zeigt den von VLM generierten Sprachplan, das von UniSim basierend auf dem Sprachplan generierte Video und die Ausführung auf einem echten Roboter.

Zusätzlich zum Testen der Transferfähigkeiten von UniSim in der realen Welt wurde in diesem Dokument auch eine simulatorbasierte Bewertung durchgeführt. Die Ergebnisse sind in Tabelle 2 aufgeführt:

Realwelt für verstärkendes Lernen Simulator

Das Experiment bewertet auch, wie gut UniSim verschiedene Aktionen ausführt, indem es einen echten Roboter simuliert, der den Endpunkt nach links, rechts, unten und oben bewegt, indem er in etwa 20 bis 30 Schritten wiederholt Kontrollvorgänge auf niedriger Ebene ausführt. Tabelle 3 zeigt, dass das RL-Training die Leistung der VLA-Richtlinie bei verschiedenen Aufgaben erheblich verbessert, insbesondere bei Aufgaben wie dem Zeigen auf den blauen Block. Anschließend implementieren wir die in UniSim trainierte Zero-Shot-RL-Richtlinie direkt auf einen echten Roboter, wie in Abbildung 8 (untere Reihe) dargestellt.

Das obige ist der detaillierte Inhalt vonGenerative Modelle erstellen interaktive Realweltsimulatoren, was LeCun ziemlich cool findet. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!