Apple Vision Pro を使用して遠隔からロボットを制御、NVIDIA: 「人間と機械の統合」は難しくない

Huang Renxun 氏は次のように述べています。「AI の次の波はロボットであり、最もエキサイティングな開発の 1 つは人型ロボットです。」今日、プロジェクト GR00T は新たな重要な一歩を踏み出しました。

昨日、NVIDIA 創設者フアン ジェンセン氏は、SIGGRAPH 2024 の基調講演で、人型ロボットの普遍的な基本モデル「プロジェクト GR00T」について語りました。このモデルには、機能面で一連のアップデートが施されています。

テキサス大学オースティン校の助教授とNVIDIAの上級研究員であるYuke Zhu氏がツイートし、NVIDIAが一般家庭用ロボットの大規模シミュレーショントレーニングフレームワークRoboCasaとMimicGenシステムをNVIDIA Omniverseプラットフォームに統合する方法をビデオで実証しました。そしてIsaacロボット開発プラットフォーム。

^{AI、Omniverse、Jetson Thor を含む Nvidia の 3 つのコンピューティング プラットフォームをカバーしており、それらを活用して開発者のワークフローを簡素化し、高速化します。これらのコンピューティング プラットフォームの共同強化により、物理 AI によって駆動される人型ロボットの時代が到来すると予想されます。}

最大のハイライトは、開発者が Apple Vision Pro を使用して人型ロボットをリモート制御してタスクを実行できることです。

一方、別の Nvidia 上級研究科学者である Jim Fan 氏は、プロジェクト GR00T のアップデートはエキサイティングであると述べました。 NVIDIA は、ロボット工学における最も困難な課題を解決するために、ロボット工学データをスケーリングする体系的なアプローチを使用しています。

このアイデアも非常にシンプルです。人間が実際のロボットのデモンストレーション データを収集し、NVIDIA がこれらのデータをシミュレーションで 1000 倍以上に拡張します。 GPU で高速化されたシミュレーションを通じて、人間がデータを収集する時間と労働集約的でコストのかかる作業とコンピューティング能力を交換できるようになりました。

彼は、少し前まで、原子の世界では 1 ロボットあたり 1 日あたり 24 時間に制限されていたため、遠隔制御は基本的に拡張性がないと考えていたことについて話しています。 GR00T 上の NVIDIA の新しい合成データ パイプラインは、ビットの世界におけるこの制限を打ち破ります。

^{人型ロボット分野における Nvidia の最新の進歩に関して、一部のネチズンは Apple Vision Pro が最適なソリューションを見つけたと述べています。}

NVIDIA は次の波をリードし始めています: 物理 AI

NVIDIA はブログで人型ロボットを加速する技術プロセスについても詳しく説明しています。全内容は次のとおりです。 世界中でヒューマノイド ロボットの開発を加速するために、NVIDIA は、世界をリードするロボット メーカー、AI モデル開発者、ソフトウェア メーカーが次世代ヒューマノイド ロボットを開発、トレーニング、構築するための一連のサービス、モデル、コンピューティング プラットフォームを発表しました。

この製品スイートには、ロボット工学のシミュレーションと学習のための新しい NVIDIA NIM マイクロサービスとフレームワーク、多段階のロボット工学ワークロードを実行するための NVIDIA OSMO オーケストレーション サービス、開発を可能にする AI とシミュレーション対応のリモート オペレーション ワークフローが含まれています。研究者は少量の人体デモンストレーション データを使用します。ロボットを訓練するために。

ジェンセン フアン氏は次のように述べています。「AI の次の波はロボットであり、最もエキサイティングな開発の 1 つはヒューマノイド ロボットです。私たちは NVIDIA ロボット スタック全体の開発を進めており、ヒューマノイド ロボット開発者や世界中の企業に開かれています。世界にアクセスし、ニーズに最適なプラットフォーム、アクセラレーション ライブラリ、AI モデルを使用できるようにします

NVIDIA NIM と OSMO で開発を加速します

NIM マイクロサービスは、NVIDIA の推論ソフトウェアを利用しています。事前に構築されたコンテナにより、開発者は展開時間を数週間から数分に短縮できます。

2 つの新しい AI マイクロサービスにより、ロボット工学の専門家が NVIDIA Isaac Sim の生成物理 AI シミュレーション ワークフローを強化できるようになります。

MimicGen NIM マイクロサービスは、Apple Vision Pro などの空間コンピューティング デバイスから記録されたリモート データから合成モーション データを生成します。 Robocasa NIM マイクロサービスは、OpenUSD でロボット タスクとシミュレーション環境を生成します。

クラウドネイティブ マネージド サービス NVIDIA OSMO が利用可能になり、ユーザーはオンプレミスでもクラウドでも、分散コンピューティング リソース全体で複雑なロボティクス開発ワークフローを調整および拡張できるようになります。 OSMO の登場により、ロボットのトレーニングとシミュレーションのワークフローが大幅に簡素化され、導入と開発のサイクルが数か月から 1 週間未満に短縮されました。

人型ロボット開発者に高度なデータキャプチャワークフローを提供します

人型ロボットの背後にある基礎モデルのトレーニングには大量のデータが必要です。人間の実証データを取得する 1 つの方法は遠隔操作を使用することですが、これはますます高価で時間がかかるものになっています。

SIGGRAPH コンピューター グラフィックス カンファレンスでデモンストレーションされた NVIDIA AI および Omniverse リモート操作リファレンス ワークフローを通じて、研究者と AI 開発者は、リモートでキャプチャされた非常に少数の人間のデモンストレーションから大量の合成モーションおよび知覚データを生成できます。

まず、開発者は Apple Vision Pro を使用して、いくつかのリモート デモをキャプチャしました。次に、NVIDIA Isaac Sim で記録をシミュレートし、MimicGen NIM マイクロサービスを使用して記録から合成データセットを生成しました。

開発者は、実際のデータと合成データを使用してプロジェクト GR00T 人型ロボットの基本モデルをトレーニングし、時間を大幅に節約し、コストを削減します。次に、ロボット学習フレームワークである Isaac Lab の Robocasa NIM マイクロサービスを使用して、ロボット モデルを再トレーニングするためのエクスペリエンスを生成しました。ワークフロー全体を通じて、NVIDIA OSMO はコンピューティング タスクをさまざまなリソースにシームレスに分散し、開発者の数週間にわたる管理作業負荷を節約します。

NVIDIA ヒューマノイド ロボット開発者テクノロジーへのアクセスを拡大

NVIDIA は、ヒューマノイド ロボットの開発を簡素化する 3 つのコンピューティング プラットフォームを提供しています。モデルをトレーニングするための Omniverse 上に構築された NVIDIA Isaac Sim です。シミュレートされた世界で学習してスキルを磨くためのロボットと、モデルの実行に使用される人型ロボット コンピューターである NVIDIA Jetson Thor。開発者は、特定のニーズに基づいてプラットフォームのすべてまたは一部にアクセスして使用できます。

新しい NVIDIA Humanoid Developer Program を通じて、開発者は新製品と、NVIDIA Isaac Sim、NVIDIA Isaac Lab、Jetson Thor、Project GR00T ユニバーサル ヒューマノイド ベース モデルの最新バージョンに早期にアクセスできます。

1x、Boston Dynamics、ByteDance、Field AI、Figure、Fourier、Galbot、LimX Dynamics、Mentee、Neura Robotics、RobotEra、Skild AI が早期アクセス プログラムに参加する最初の企業です。

開発者は、NVIDIA Humanoid Developer Program に参加して NVIDIA OSMO と Isaac Lab にアクセスできるようになり、まもなく NVIDIA NIM マイクロサービスにもアクセスできるようになります。

ブログリンク:

https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development

以上がApple Vision Pro を使用して遠隔からロボットを制御、NVIDIA: 「人間と機械の統合」は難しくないの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。