CMU、日常的な家具の操作方法を正確に学習する新しい器用なロボット アルゴリズムを公開

人々が日常生活で接触する家具のほとんどは、引き出しレール付きの引き出し、垂直回転軸付きのドア、水平回転軸付きのドアなどの「関節のある物体」です。これらのオブジェクトの一部はさまざまなジョイントによって接続されています。

これらのジョイントの存在により、接続されたオブジェクトのパーツのさまざまな部分がジョイントによって運動学的に拘束されるため、これらのパーツの自由度は 1 つだけ (1 DoF) になります。 。これらのアイテムは、私たちの生活のあらゆるところ、特に毎日の家庭にあり、私たちの日常生活の重要な一部となっています。私たち人間は、どんな種類の家具を持っていても、それを操作し制御する方法をすぐに理解できると考えています。あたかもこれらの物体のすべての関節がどのように動くかを知っているかのようです。

では、ロボットは人間のように家具がどのように動くかを予測できるのでしょうか?この種の予測能力を獲得することは困難であり、ロボットがこの能力を学習できれば、家庭用ロボットにとって大きな後押しとなるでしょう。

最近、CMU ロボット工学大学院のデビッド ヘルド教授の R-PAD 研究室の 2 人の学生、ベン アイズナーとハリー チャンは、複雑な関節オブジェクトの操作で画期的な進歩を遂げ、ニューラル ネットワーク用の 3D ベースの FlowBot 3D は、日常的な家具などの関節オブジェクトの一部の動作軌跡を効果的に表現および予測するアルゴリズムです。アルゴリズムには 2 つの部分が含まれています。

最初の部分は知覚部分で、3D ディープ ニューラル ネットワークを使用して、操作された家具オブジェクトの点群データから 3 次元の瞬間的な動きの軌跡を予測します (3D 多関節フロー) ）。

アルゴリズムの 2 番目の部分はポリシー部分で、予測された 3D 多関節フローを使用してロボットの次のアクションを選択します。どちらもシミュレーターで完全に学習され、再トレーニングや調整を行わずに現実世界に直接実装できます。 FlowBot 3D アルゴリズムの助けを借りて、ロボットは人間と同じように日常の家具などの多関節オブジェクトを自由に操作できます。

この論文は現在、世界トップクラスのロボット工学カンファレンスである Robotics Science およびSystems (RSS) 2022 の最優秀論文候補 (上位 3%) であり、7 月に米国ニューヨークで展示され、他の 7 つの優れた論文とともに最優秀論文の栄誉を競います。

• 論文アドレス: https://arxiv.org/pdf/2205.04382.pdf
• プロジェクト ホームページ: https:// sites.google.com/view/articulated-flowbot-3d

FlowBot 3D はシミュレーターのみに依存し、シミュレートされたデータに対して教師あり学習を実行して、日常の家具などの関節のあるオブジェクトを学習します。部品の瞬間的な運動軌跡 (3D 関節流)。 3D Articulated Flow は、ロボットの次の戦略の複雑さを大幅に簡素化し、一般化と効率を向上させることができる視覚的な点群の軌道表現方法です。ロボットは、この瞬間的な軌道をたどり、この軌道を閉ループで再予測するだけで、関節オブジェクトを操作するタスクを完了できます。

これまで、家具などの関節物体を操作する学術界における従来の手法は、操作対象物の幾何学的特性（位置や方向など）から部品の移動方向を計算することでした。または、専門家の戦略 (通常は人間の) を模倣して、特定のオブジェクトの操作を学習し、ジョイント オブジェクト操作の複雑なアクションを完了します。これらのアカデミアにおける従来の手法は一般化が不十分であり、データの活用効率も低く、トレーニングには人間による大量の実証データの収集が必要です。これらとは異なり、FlowBot 3D は人間によるデモンストレーション データの提供を必要としない初の純粋なシミュレーター ベースの学習であり、アルゴリズムによりロボットは各パーツの瞬間的な動作軌跡を学習することで最適なオブジェクト操作パスを計算できます。アルゴリズムは汎用性が高い。この機能により、FlowBot 3D はシミュレーター トレーニング中に目に見えないオブジェクトに一般化し、実際の日常的な家具アイテムを現実世界で直接操作することができます。

次のアニメーションは、FlowBot 3D の操作プロセスを示しています。左側は操作されたビデオ、右側は点群 3D Articulated Flow の予測された瞬間運動軌跡です。 FlowBot 3D アルゴリズムにより、ロボットはまずオブジェクト上のどの部分を操作できるかを特定し、その部分の移動方向を予測できます。

冷蔵庫のドアを開けます:

便座を開けます:

##引き出しを開けてください:

この論文の査読者はこう言いました: 全体として、この論文はかなりの成果ですロボット制御科学への貢献。

それでは、FlowBot 3D はどのようにしてこのスキルを学習するのでしょうか?

人間がドアなどの新しい家具を見るとき、ドアがドア軸を中心に回転することがわかり、ドア軸の制約もわかります。このドアは、一方向に回転するので、頭の中で想像した方向に従ってドアを開けることができます。したがって、ロボットに家具などの関節オブジェクトの操作方法や動作軌道を本当に器用に予測できるようにしたい場合、効果的な方法は、ロボットにこれらの部品の運動学的制約を理解させ、これらのオブジェクトの動き、軌道。

FlowBot 3D の具体的な方法は複雑ではなく、複雑な実際の人間のデータを必要とせず、シミュレーターのみに依存します。さらに、シミュレータのもう 1 つの利点は、シミュレータでは、これらの家庭用オブジェクトの 3D データ ファイル (URDF) に各部品の運動学的制約とその制約の特定のパラメータが含まれているため、各部品の運動軌跡がシミュレーターで正確に計算できます。

#FlowBot 3D 用の 2 つのモジュール。

シミュレータのトレーニング中に、ロボットは操作対象の 3 次元点群データをロボット ビジョン モジュールへの入力データとして観察します。ビジョンモジュール (知覚モジュール) は、PointNet を使用して、外力の作用下で入力点群内の各点の瞬間的な運動軌跡の 3D 多関節フローを予測します (たとえば、引き出しが 1 cm 開いた後、ドアが外側に開きます 5度)、貧弱な形で表現された 3 次元座標ベクトルを使用します。この運動軌跡の実際のデータは、順運動学によって正確に計算できます。次の３次元ベクトル座標から現在の３次元ベクトル座標を減算することで、操作対象部位の動作軌跡を求めることができる。したがって、教師あり学習では、トレーニング中に、予測された 3D 多関節フローの L2 損失のみを最小限に抑える必要があります。

#この図では、青い点は観測された点群データであり、赤い矢印は予測されたファサードを表します。明確なフロー。

このように学習することで、FlowBot 3D は運動学的制約下での各部品の移動方向と、部品上の各点が同じ力を受ける状況を学習できます。相対速度と相対運動方向 (速度)。一般的な家庭用ジョイントアイテムは、角柱状で回転したものです。引き出しなどのトゥイッチ部品は、同じ外力を受けたとき、引き出し表面の各点の移動方向と速度は同じです。ドアなどの回転部品は、同じ外力を受けた場合、ドア表面の各点の移動方向は同じですが、回転軸から離れるほど速度が速くなります。研究者らは、ロボット工学の物理法則 (ネジ理論) を使用して、最長の 3D 関節流が物体の加速度を最大化できることを証明しました。ニュートンの第 2 法則によれば、この戦略は最適解です。

#理論的根拠に基づいて、実際の運用ではどうなるのかロボットが行う必要があるのは、FlowBot 3D のビジョン モジュールを通じて各点の移動軌跡を予測することです。各点の軌跡の中で、最も長い 3D 多関節流れ方向に対応する点を操作点として見つけ、この操作を閉じた状態で予測します。ループ ポイントの移動軌跡。選択した操作点がうまく掴めない場合（ロボットハンドの掴み条件を満たさない面など）、FlowBot 3D は掴み条件を満たす 2 番目に長い点を選択します。

また、FlowBot 3D は、PointNet の特性により、オブジェクト自体の幾何学的特性に依存せず、各点の運動軌跡を予測します。ロボットによるオブジェクトの遮蔽の可能性。さらに、このアルゴリズムは閉ループであるため、ロボットは予測の次のステップで考えられるエラーを修正できます。

実世界における FlowBot 3D のパフォーマンスFlowBot 3D は、実世界における一般化の課題を克服する能力を備えています。 FlowBot 3D の設計コンセプトは、操作対象の 3D 多関節フローの移動軌跡を正確に予測できる限り、次のステップはこの軌跡に従ってタスクを完了することです。

もう 1 つの重要な点は、FlowBot 3D が単一のトレーニング モデルを使用して、トレーニングで表示されなかったカテゴリを含む複数のアイテム カテゴリを操作することです。そして現実の世界では、ロボットはこの純粋なシミュレーターのトレーニングを通じて取得したモデルを使用するだけで、さまざまな現実のオブジェクトを操作できます。したがって、現実世界では、家庭内のオブジェクトの運動学的制約はシミュレータ内と圧倒的に同じであるため、FlowBot 3D を現実世界に直接一般化できます。

実世界の実験で FlowBot3D によって使用される家庭用品 (ゴミ箱、冷蔵庫、便座、ボックス、金庫などを含む)

シミュレータでは、ロボットは、ホッチキス、ゴミ箱、引き出し、窓、冷蔵庫などのいくつかのカテゴリの家庭用品を使用してトレーニングされます。シミュレータと実際のテストでは、テスト データ 新しいオブジェクトトレーニング カテゴリとトレーニング中に表示されなかったカテゴリから。

シミュレーターでの FlowBot 3D 操作タスク。

これに比べ、学術界で一般的に見られる模倣ベースのシミュレーションでは、新しい操作方法を学習するには手動のガイダンスが必要です。オブジェクトが多く、これらのロボットを現実世界、特に家庭用ロボットのシナリオに実装するのは非現実的です。さらに、3D 点群データは、他の方法で使用される 2D RGB データよりも強力です。点群によりロボットはそれぞれのオブジェクトを理解できるため、関節と関節間の関係をより高いレベルで理解および予測できるため、一般化が大幅に強化されます。

実験結果によると、FlowBot 3D は、ほとんどのオブジェクト (トレーニング中に表示されるカテゴリであるかどうかにかかわらず) を操作するときに「全開」までの距離が 10% 未満に達し、Success Ridge はそれ以上に到達できることが示されています。 90.比較すると、模倣学習 (DAgger) や強化学習 (SAC) に基づく他の方法は大きく遅れており、一般化が欠けています。

つまり、FlowBot 3D は大きな可能性を秘めた仕事です。微調整を必要とせずに、現実世界に効率的に導入できます。この研究は、コンピューター ビジョンの進歩がロボット工学の分野、特に 3D 多関節フローと呼ばれる動作軌跡の視覚的表現を変える可能性があることも示しています。これは、ロボット戦略の選択と意思決定のプロセスを簡素化するために複数のタスクに適用できます。この一般化可能な表現により、シミュレータ学習方法は現実世界に直接展開できる可能性があり、将来の家庭用ロボットのトレーニングと学習のコストが大幅に削減されます。

FlowBot 3Dの次の計画現在研究チームは、流れの使い方など、関節物体以外の物体にも流れの理解と予測手法を適用しようとしています。 6 自由度で物体の軌道を予測します。同時に、著者はフローを一般的な視覚表現として使用して、強化学習などの他のロボット学習タスクに適用し、それによって学習効率、ロバスト性、一般化性を高めようとしています。

David Held 准教授のホームページ: https://davheld.github.io/Ben Aisner のホームページ: https://beisner.me/Harry Zhang のホームページ: https://harryzhangog。 github.io/

以上がCMU、日常的な家具の操作方法を正確に学習する新しい器用なロボット アルゴリズムを公開の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。