Mit Apple Vision Pro Roboter aus der Ferne steuern, NVIDIA: „Mensch und Maschine zu integrieren ist nicht schwer“

Huang Renxun sagte: „Die nächste Welle der KI sind Roboter, und eine der aufregendsten Entwicklungen sind humanoide Roboter.“ Heute hat das Projekt GR00T einen weiteren wichtigen Schritt getan.

Gestern sprach NVIDIA-Gründer Huang Jensen in seiner SIGGRAPH 2024 Keynote-Rede über sein universelles Grundmodell des humanoiden Roboters „Project GR00T“. Das Modell erhält eine Reihe von Updates hinsichtlich der Funktionalität.

Assistenzprofessor an der University of Texas in Austin und NVIDIA Senior Research Scientist Yuke Zhu twitterte und demonstrierte in dem Video, wie NVIDIA das allgemeine Trainings-Framework für Haushaltsroboter-Großsimulationen RoboCasa und das MimicGen-System in die NVIDIA Omniverse-Plattform integriert und Isaac-Roboterentwicklungsplattform .

                                                                              ^{Deckt die drei Computerplattformen von Nvidia ab, darunter AI, Omniverse und Jetson Thor. Nutzen Sie sie, um Entwickler-Workflows zu vereinfachen und zu beschleunigen. Durch die gemeinsame Stärkung dieser Computerplattformen wird erwartet, dass wir in die Ära humanoider Roboter eintreten, die von physischer KI angetrieben werden.}

Das größte Highlight ist, dass Entwickler mit Apple Vision Pro humanoide Roboter fernsteuern können, um Aufgaben auszuführen.

Unterdessen sagte ein weiterer leitender Forschungswissenschaftler von Nvidia, Jim Fan, dass die Aktualisierungen des Projekts GR00T aufregend seien. NVIDIA nutzt einen systematischen Ansatz zur Skalierung von Robotikdaten, um die schwierigsten Herausforderungen in der Robotik zu lösen.

Die Idee ist auch ganz einfach: Menschen sammeln Demonstrationsdaten an echten Robotern, und NVIDIA erweitert diese Daten in der Simulation um das Tausendfache oder mehr. Mit der GPU-beschleunigten Simulation können Menschen nun Rechenleistung gegen die zeitaufwändige, arbeitsintensive und kostspielige Arbeit des Menschen beim Sammeln von Daten eintauschen.

Er spricht darüber, wie er vor nicht allzu langer Zeit dachte, Fernbedienung sei grundsätzlich nicht skalierbar, weil wir in der Atomwelt immer auf 24 Stunden/Roboter/Tage beschränkt waren. NVIDIAs neue Pipeline für synthetische Daten auf GR00T durchbricht diese Einschränkung in der Bit-Welt.

                                                                                     

^{In Bezug auf Nvidias neueste Fortschritte im Bereich humanoider Roboter sagten einige Internetnutzer, dass Apple Vision Pro die beste Lösung gefunden habe. NVIDIA beginnt die nächste Welle anzuführen: physische KI} Um die Entwicklung humanoider Roboter weltweit zu beschleunigen, kündigte NVIDIA eine Reihe von Diensten, Modellen und Computerplattformen für die weltweit führenden Roboterhersteller, KI-Modellentwickler und Softwarehersteller an, um die nächste Generation humanoider Roboter zu entwickeln, zu trainieren und zu bauen.

Diese Produktsuite umfasst neue NVIDIA NIM-Microservices und Frameworks für Robotiksimulation und -lernen, NVIDIA OSMO-Orchestrierungsdienste für die Ausführung mehrstufiger Robotik-Workloads sowie KI- und simulationsgestützte Remote-Operations-Workflows, die es Entwicklungsforschern ermöglichen, kleine Mengen menschlicher Demonstrationsdaten zu verwenden um Roboter zu trainieren.

Jensen Huang sagte: „Die nächste Welle der KI sind Roboter, und eine der aufregendsten Entwicklungen sind humanoide Roboter. Wir treiben die Entwicklung des gesamten NVIDIA-Roboterstapels voran, offen für Entwickler humanoider Roboter und Unternehmen auf der ganzen Welt.“ Weltzugriff, sodass sie die Plattformen, Beschleunigungsbibliotheken und KI-Modelle nutzen können, die ihren Anforderungen am besten entsprechen.

Beschleunigen Sie die Entwicklung mit NVIDIA NIM und OSMO Vorgefertigte Container, die es Entwicklern ermöglichen, die Bereitstellungszeit von Wochen auf Minuten zu verkürzen.

Zwei neue KI-Microservices werden es Robotikexperten ermöglichen, generative Physik-KI-Simulationsworkflows in NVIDIA Isaac Sim zu verbessern.

Der MimicGen NIM-Mikrodienst generiert synthetische Bewegungsdaten aus Remote-Daten, die von räumlichen Computergeräten wie dem Apple Vision Pro aufgezeichnet wurden. Robocasa NIM-Microservices generieren Roboteraufgaben und Simulationsumgebungen in OpenUSD.

Der Cloud-native verwaltete Dienst NVIDIA OSMO ist jetzt verfügbar und ermöglicht es Benutzern, komplexe Robotik-Entwicklungsworkflows über verteilte Computerressourcen hinweg zu orchestrieren und zu skalieren, egal ob vor Ort oder in der Cloud. Das Aufkommen von OSMO vereinfacht die Robotertrainings- und Simulationsabläufe erheblich und verkürzt die Bereitstellungs- und Entwicklungszyklen von Monaten auf weniger als eine Woche.

Bietet erweiterten Datenerfassungs-Workflow für Entwickler humanoider Roboter

Das Training der zugrunde liegenden Modelle humanoider Roboter erfordert große Datenmengen. Eine Möglichkeit, menschliche Demonstrationsdaten zu erhalten, ist der Einsatz von Fernoperationen, die jedoch immer teurer und langwieriger werden.

Durch den auf der Computergrafikkonferenz SIGGRAPH demonstrierten NVIDIA AI- und Omniverse-Remotemanipulations-Referenzworkflow können Forscher und KI-Entwickler große Mengen synthetischer Bewegungs- und Wahrnehmungsdaten aus einer sehr kleinen Anzahl ferngesteuerter menschlicher Demonstrationen generieren.

Zunächst verwendeten Entwickler Apple Vision Pro, um eine Handvoll Remote-Demos aufzunehmen. Anschließend simulierten sie die Aufzeichnungen in NVIDIA Isaac Sim und nutzten den MimicGen NIM-Mikroservice, um synthetische Datensätze aus den Aufzeichnungen zu generieren.

Entwickler verwenden reale und synthetische Daten, um das Basismodell des humanoiden Roboters Project GR00T zu trainieren, was viel Zeit spart und Kosten senkt. Anschließend nutzten sie den Mikrodienst Robocasa NIM im Isaac Lab, ein Roboter-Lernframework, um Erfahrungen für die Umschulung des Robotermodells zu generieren. Während des gesamten Workflows verteilt NVIDIA OSMO Rechenaufgaben nahtlos auf verschiedene Ressourcen und spart so Entwicklern wochenlangen Verwaltungsaufwand.

Erweitern Sie den Zugriff auf die NVIDIA-Technologie für die Entwicklung humanoider Roboter.

NVIDIA bietet drei Computerplattformen, um die Entwicklung humanoider Roboter zu vereinfachen: NVIDIA AI-Supercomputer zum Trainieren von Modellen; NVIDIA Isaac Sim, der auf Omniverse basiert Roboter zum Erlernen und Perfektionieren von Fähigkeiten in einer simulierten Welt; und der humanoide Robotikcomputer NVIDIA Jetson Thor, mit dem das Modell betrieben wird. Entwickler können entsprechend ihren spezifischen Anforderungen auf die gesamte Plattform oder Teile davon zugreifen und diese nutzen.

Durch das neue NVIDIA Humanoid Developer Program können Entwickler frühzeitig auf neue Produkte und die neuesten Versionen der universellen humanoiden Basismodelle NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor und Project GR00T zugreifen.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra und Skild AI sind die ersten Unternehmen, die dem Early-Access-Programm beitreten.

Entwickler können jetzt dem NVIDIA Humanoid Developer Program beitreten, um Zugriff auf NVIDIA OSMO und Isaac Lab zu erhalten, und erhalten bald Zugriff auf NVIDIA NIM-Microservices.

Blog-Link:

^{https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development}

Das obige ist der detaillierte Inhalt vonMit Apple Vision Pro Roboter aus der Ferne steuern, NVIDIA: „Mensch und Maschine zu integrieren ist nicht schwer“. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!