Byte AI Lab のコア テクノロジーは、従来の手法と模倣学習を組み合わせた Habitat Challenge 2022 アクティブ ナビゲーション チャンピオンシップで優勝しました。

オブジェクトのナビゲーションは、インテリジェント ロボットの基本的なタスクの 1 つです。このタスクでは、知能ロボットは未知の新しい環境で人間が指定した特定の種類のオブジェクトを積極的に探索して見つけます。オブジェクト ターゲット ナビゲーション タスクは、将来のホーム サービス ロボットのアプリケーション ニーズを指向しています。水を一杯飲むなど、人間がロボットに特定のタスクを完了させる必要がある場合、ロボットはまず水カップの位置を見つけて移動する必要があります。 、そして人々が水のカップを手に入れるのを手伝います。

ハビタット チャレンジは、Meta AI などが共催するオブジェクト ナビゲーション分野の著名なコンテストの 1 つで、2022 年現在 4 年連続で開催されています。この大会には54チームが参加しました。コンテストでは、ByteDance AI Lab-Research チームの研究者が、既存の方法の欠点に対処するための新しいオブジェクト ターゲット ナビゲーション フレームワークを提案しました。このフレームワークは、模倣学習と従来の手法を巧みに組み合わせて、群衆から抜きん出てチャンピオンシップに勝ちます。主要指標であるSPLにおいて、2位以下の参加チームの成績を大きく上回る成績。歴史的に、このイベントの優勝チームは、CMU、UC Berkerly、Facebook などの一般的に有名な研究機関です。

テスト標準リスト

テストチャレンジリスト

ハビタットチャレンジ公式ウェブサイト: https ://aihaveat.org/challenge/2022/

ハビタット チャレンジ コンペティション リーダーボード: https://eval.ai/web/challenges/challenge-page/1615/leaderboard

1 . 研究動機

現在のオブジェクト ターゲット ナビゲーション方法は、エンドツーエンド方法とマップベース方法の 2 つのカテゴリに大別できます。エンドツーエンド手法では、入力センサー データの特徴を抽出し、それを深層学習モデルに送信してアクションを取得します。このような手法は、一般に強化学習または模倣学習に基づいています (図 1 マップレス手法)。ベースの手法は一般に、明示的または暗黙的なマップを構築し、強化学習やその他の手法を通じてマップ上のターゲット ポイントを選択し、最後に経路を計画してアクションを取得します (図 1 マップベースの手法)。

図 1 エンドツーエンド方式 (上) とマップベース方式 (下) のフローチャート

After多くの実験 2 種類の方法を比較した結果、研究者らは 2 種類の方法にそれぞれ長所と短所があることを発見しました。エンドツーエンドの方法は環境のマップを構築する必要がないため、より簡潔です。さまざまなシナリオでより強力な汎化能力を備えています。ただし、ネットワークは環境の空間情報をエンコードすることを学習する必要があるため、大量のトレーニング データに依存し、ターゲット オブジェクトの近くで停止するなど、いくつかの単純な動作を同時に学習することは困難です。マップベースの方法では、ラスターを使用してフィーチャまたはセマンティクスを保存し、明示的な空間情報を持っているため、このタイプの動作の学習しきい値は低くなります。ただし、正確な測位結果に大きく依存しており、階段などの一部の環境では、知覚と経路計画戦略の人為的な設計が必要になります。

上記の結論に基づいて、ByteDance AI Lab-Research チームの研究者は、2 つの方法の利点を組み合わせたいと考えています。ただし、これら 2 つの手法のアルゴリズム プロセスは大きく異なるため、これらを直接組み合わせることが困難であり、また、2 つの手法の出力を直接統合する戦略を設計することも困難です。そこで研究者らは、ロボットの状態に応じて2種類の方法で能動的な探索と物体の探索を交互に実行し、それぞれの利点を最大化するシンプルかつ効果的な戦略を設計した。

2. 競争方法

アルゴリズムは主に、確率マップベースの分岐とエンドツーエンド分岐の 2 つの分岐で構成されます。アルゴリズムの入力は、ファーストビューの RGB-D 画像とロボットのポーズ、および検索対象のオブジェクト カテゴリであり、出力は次のアクション (アクション) です。 RGB 画像は最初にセグメント化され、他の生の入力データとともに両方のブランチに渡されます。 2 つのブランチはそれぞれ独自のアクションを出力し、切り替え戦略によって最終的な出力アクションが決まります。

図 2 アルゴリズム フローの概略図

確率マップ ベースのブランチ

確率マップ ベースのブランチは、セマンティック リンク マップ[2]のアイデアに基づいており、 IROS Robot Conference[3]の手法が簡略化されました。このブランチは、入力インスタンスのセグメンテーション結果、深度マップ、およびロボットのポーズに基づいて 2D セマンティック マップを構築しますが、一方で、オブジェクト間の事前学習された関連付け確率に基づいて確率マップを更新します。

確率マップの更新方法には、次のような方法があります。ターゲット オブジェクトが検出されたものの、十分な確信が持てない場合 (信頼スコアがしきい値より低い場合)、この時点ではさらに近づいて観察を続ける必要があるため、対応するエリアは確率マップ上の確率値は増加する必要があります (図 3 の上部に示すように)。同様に、ターゲット オブジェクトに関連するオブジェクトが検出された場合 (たとえば、テーブルと椅子が一緒に配置されている確率が比較的高い)、対応する領域の確率値も増加します (以下の図 3 を参照)。最も確率の高い領域をターゲット ポイントとして選択することで、アルゴリズムは、ロボットがしきい値よりも高い信頼確率でターゲット オブジェクトを見つけるまで、さらなる観察のために潜在的なターゲット オブジェクトおよび関連オブジェクトに近づくことを奨励します。

#図 3 確率マップ更新方法の概略図

エンドツーエンド分岐

エンドツーエンド ブランチの入力には、RGB-D 画像、インスタンス セグメンテーション結果、ロボットのポーズ、ターゲット オブジェクト カテゴリが含まれ、アクションは直接出力されます。エンドツーエンド ブランチの主な機能は、ロボットが人間のような物体を見つけられるようにガイドすることであるため、Habitat-Web[4] メソッドのモデルとトレーニング プロセスが採用されています。この方法は模倣学習に基づいており、トレーニング セット内のオブジェクトを探している人間の例を収集することによってネットワークがトレーニングされます。

スイッチング戦略

スイッチング戦略は主に確率マップとパス計画の結果に基づいており、確率マップ分岐によって出力される 2 つのアクションのうち 1 つを選択し、最終出力としてのエンドツーエンド ブランチ。確率マップにしきい値を超える確率を持つラスターがない場合、ロボットは環境を探索する必要があります。マップ上で実行可能な経路を計画できない場合、ロボットは特殊な環境 (階段など) にいる可能性があります。どちらの場合もエンドツーエンド方式が使用され、エンドツーエンドの分岐によりロボットは十分な環境適応性を得ることができます。他の場合には、ターゲット オブジェクトを見つける際の利点を最大限に活用するために、確率マップ ブランチが選択されます。

この切り替え戦略の効果はビデオで示されています。ロボットは通常、環境を効率的に探索するためにエンドツーエンド ブランチを使用します。ターゲット オブジェクトまたは関連オブジェクトの可能性が見つかると、詳細な観察のための確率マップ分岐。ターゲット オブジェクトの信頼確率がしきい値より大きい場合、ターゲット オブジェクトで停止します。そうでない場合は、より高い確率を持つグリッドがなくなるまで、エリア内の確率値は減少し続けます。しきい値を超えると、ロボットはエンドツーエンドに切り替えて探索を続行します。

ビデオからわかるように、この方法は、エンドツーエンドのアプローチとマップベースのアプローチの両方の利点を組み合わせています。 2 つのブランチはそれぞれ独自の役割を果たし、エンドツーエンド手法は主に環境の探索を担当し、確率マップ ブランチは関心領域の近くの観察を担当します。したがって、この方法では、複雑なシーン (階段など) を探索できるだけでなく、エンドツーエンド ブランチのトレーニング要件も軽減できます。

3. 概要

オブジェクト アクティブ ターゲット ナビゲーション タスクに関して、ByteDance AI Lab-Research チームは、古典的な確率マップと最新の模倣学習を組み合わせたフレームワークを提案しました。このフレームワークは、従来の手法とエンドツーエンドのアプローチを組み合わせるという成功した試みです。 Habitat コンテストでは、ByteDance AI Lab-Research チームが提案した手法が 2 位や他の参加チームの結果を大幅に上回り、アルゴリズムの進歩を証明しました。現在主流のEmbedded AIのエンドツーエンド手法に従来の手法を導入することで、エンドツーエンド手法のいくつかの欠点をさらに補うことができ、それによってインテリジェントロボットが人々を助け、奉仕する道をさらに前進させることができます。

最近、ロボット工学分野における ByteDance AI Lab-Research チームの研究は、CoRL、IROS、ICRA などの主要なロボット工学カンファレンスにも参加しています。これには、オブジェクトの姿勢推定、オブジェクトの掴み、ターゲット ナビゲーション、自動制御などが含まれます。組み立て、人間とコンピューターの対話、およびロボットのその他の中心的なタスク。

【CoRL 2022】セマンティックプリミティブを使用した生成カテゴリレベルの形状と姿勢の推定

論文アドレス: https://arxiv.org/abs/2210.01112

【IROS 2022】インスタンスエンコードトランスフォーマーを使用した 3D パーツアセンブリの生成

論文アドレス: https://arxiv.org/abs/2207.01779

【IROS 2022 】距離予測による目に見えない環境の物体へのナビゲーション

• 論文アドレス: https://arxiv.org/abs/2202.03735

[EMNLP 2022] 参照式の生成と理解の統合に向けて

• 論文アドレス: https://arxiv.org/pdf/2210.13076

[ICRA 2022] 優先メモリ リセットによるさまざまなサイズの材料を使用した設計と構築の学習

• 論文アドレス：https://arxiv.org/abs/2204.05509

【IROS 2021】6-DoF 把握ポーズ推定のためのセマンティック学習と衝突学習の同時学習

• 論文アドレス：https ://arxiv.org/abs/2108.02425

[IROS 2021] ブループリントを使用しない橋の設計と建設の学習

• 論文アドレス: https://arxiv.org /abs/2108.02439

4. 参考文献

[1] Yadav、Karmesh、他「Habitat-Matterport 3D Semantics Dataset」arXiv プレプリント arXiv:2210.05633 (2022) 。

[2] Zeng、Zhen、Adrian Röfer、Odest Chadwicke Jenkins「アクティブなビジュアル オブジェクト検索のためのセマンティック リンク マップ」2020 IEEE International Conference on Robotics and Automation (ICRA). IEEE、2020.

[3] Minzhao Zhu、Binglei Zhao、Tao Kong「距離予測による目に見えない環境のオブジェクトへの移動」 arXiv プレプリント arXiv:2202.03735 (2022).

[4] Ramrakhya、Ram、他「Habitat-Web: Learning Embodied Object-Search Strategies from Human Demonstration at Scale」、コンピュータ ビジョンとパターン認識に関する IEEE/CVF 会議議事録、2022.

5. 私たちについて

Bytedance AI Lab NLP&Research は、人工知能分野の最先端技術研究に焦点を当てており、自然言語処理やロボット工学などの複数の技術研究分野をカバーしており、研究成果を社会に還元することにも尽力しています。同社の既存の製品とビジネスは、中核となる技術サポートとサービスを提供します。チームの技術力は Volcano Engine を通じて外部に公開され、AI イノベーションを促進します。

Bytedance AI-Lab NLP&Research 連絡先情報

• 採用相談: fankaijing@bytedance.com
• 学術協力: luomanping@bytedance.com

以上がByte AI Lab のコア テクノロジーは、従来の手法と模倣学習を組み合わせた Habitat Challenge 2022 アクティブ ナビゲーション チャンピオンシップで優勝しました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。