Gemini 1.5 Pro is installed into the robot, and it can provide concierge and guidance after visiting the company.

ロングコンテキストの大規模モデルは、ロボットが世界を理解するのに役立ちます。

最近、Google DeepMind が突然ロボットを披露し始めました。

このロボットは人間の指示に簡単に従い、視覚的なナビゲーションを実行し、常識的な推論を使用して 3 次元空間内の経路を見つけることができます。

最近Googleからリリースされた大型モデルのGemini 1.5 Proを使用しています。従来の AI モデルを使用する場合、コンテキスト長の制限によりロボットが環境の詳細を思い出すのが難しいことがよくありますが、Gemini 1.5 Pro の 100 万レベルのトークン コンテキスト長により、ロボットに強力な環境記憶機能が提供されます。

実際のオフィスのシナリオでは、エンジニアはロボットを特定のエリアに誘導し、「ルイスのデスク」や「一時的なデスクエリア」など、思い出す必要がある主要な場所にマークを付けます。一周した後、誰かが尋ねれば、ロボットはこれらの記憶に基づいてその人をこれらの場所に連れて行くことができます。 行きたい場所を具体的に言えなくても、目的を伝えるだけで、ロボットが対応する場所へ連れて行ってくれます。これは、ロボットにおける大型モデルの推論能力の具体的な現れです。

これらすべては、Mobility VLA と呼ばれるナビゲーション戦略から切り離すことができません。

• 論文のタイトル: Mobility VLA: Long-Context VLMs and Topological Graphs を使用したマルチモーダル命令ナビゲーション
• 論文のリンク: https://arxiv.org/pdf/2407.07775v1

DeepMind は、この研究は人間とコンピューターの相互作用における次のステップを表していると述べています。将来的には、ユーザーはスマートフォンで簡単に環境ツアーを撮影できるようになるでしょう。ビデオを見た後、パーソナル ロボット アシスタントは環境を理解し、ナビゲートできるようになりました。

モビリティVLA:ロングコンテキストVLMとトポロジマップを使用したマルチモーダル命令ナビゲーション

AI技術の継続的な発展により、ロボットナビゲーションは大きな進歩を遂げました。初期の作業は、ユーザーが事前に描画された環境で物理座標を指定することに依存していました。オブジェクト ゴール ナビゲーション (ObjNav) とビジュアル言語ナビゲーション (VLN) は、ユーザーがオープンボキャブラリー言語を使用して「ソファに行く」などのナビゲーション目標を定義できるため、ロボットの使いやすさにおいて大きな進歩をもたらします。

ロボットを本当に便利で日常生活の中で遍在させるために、Google DeepMind の研究者は、ObjNav と VLN の自然言語空間をマルチモーダル空間にアップグレードすることを提案しました。これは、ロボットが自然言語を受け入れることができることを意味します。同時に、さらなる飛躍を達成するために、口頭および/または視覚的な命令を出します。たとえば、建物に慣れていない人がプラスチックの箱を持って「これをどこに返せばいいですか?」と尋ねると、ロボットは口頭と視覚的なコンテキストに基づいてユーザーが箱を棚に戻すように誘導します。彼らは、このタイプのナビゲーション タスクをマルチモーダル指示ナビゲーション (MIN) と呼びます。

MIN は、環境探査とコマンド誘導ナビゲーションを含む広範なミッションです。ただし、多くの場合、デモンストレーション ツアー ビデオを活用することで探索を回避できます。デモンストレーション ツアーにはいくつかの利点があります:

1. 収集が簡単: ユーザーはロボットを遠隔制御したり、環境を歩き回りながらスマートフォンでビデオを録画したりできます。さらに、ツアーの作成に使用できる探索アルゴリズムもあります。
2. それはユーザーの習慣に準拠しています。ユーザーは新しい家庭用ロボットを手に入れると、自然にロボットを家の中に持ち歩き、訪問中に興味のある場所を口頭で紹介することができます。
3. 場合によっては、セキュリティとプライバシーの目的で、ロボットの活動を事前に設定されたエリアに制限することが望ましい場合があります。そこで、著者は、この種のタスク、すなわち、デモンストレーションツアーを活用し、ユーザーのマルチモーダルな指示を満たすことに焦点を当てた「マルチモーダル指示ツアーナビゲーション（MINT）」を紹介および研究します。

最近、大規模視覚言語モデル (VLM) は、言語と画像の理解と常識的推論における優れた能力のおかげで、MINT 問題を解決する上で大きな可能性を示しています。これらは実装の重要な要素です。ミント。ただし、次の理由により、VLM だけで MINT 問題を解決することは困難です:

1. コンテキストの長さの制約により、多くの VLM は入力画像の数が非常に限られており、大規模な環境理解の忠実度が大幅に制限されます。環境。
2. MINT 問題を解くには、ロボットの動作を計算する必要があります。このようなロボットのアクションを要求するクエリは、多くの場合、VLM が (事前) トレーニングされた内容と一致しません。したがって、ロボットのゼロサンプルのパフォーマンスは満足のいくものではないことがよくあります。

MINT 問題を解決するために、DeepMind は、階層化されたビジョン-言語-アクション (VLA) ナビゲーション戦略である Mobility VLA を提案しました。これは、ロングコンテキスト VLM の環境理解および常識推論機能と、トポロジー グラフに基づく堅牢な低レベル ナビゲーション戦略を組み合わせたものです。

具体的には、高レベル VLM は、デモ ツアー ビデオとマルチモーダル ユーザー指示を使用して、ツアー ビデオ内のターゲット フレームを見つけます。次に、古典的な低レベル戦略では、ターゲット フレームとトポロジ マップ (ツアー フレームからオフラインで構築) を使用して、各タイム ステップでロボットのアクション (ウェイポイント) を生成します。ロングコンテキスト VLM の使用により、環境理解の忠実度の問題が解決され、トポロジ マップは VLM のトレーニング分布と MINT を解決するために必要なロボットのアクションの間のギャップを埋めます。

著者らは、現実世界 (836 平方メートル) のオフィスや家庭のような環境でモバイル VLA を評価しました。モビリティ VLA は、複雑な推論を含むこれまで達成不可能だった MINT タスク (「公開されないように何かを保存したいのですが、どこに行けばよいですか?」など) とマルチモーダルなユーザー指示の成功率 (26% と 60%) で 86% と 90% を達成しました。それぞれベースライン方法よりも高い）。

ユーザーは、スマートフォンを使用して家庭環境でナレーション付きビデオツアーを実行し、「私のコースターはどこですか？」と尋ねることができ、ロボットとのユーザーインタラクションの利便性が大幅に向上したことも実証しました

。

技術的な詳細

Mobilit VLA は、オンライン部分とオフライン部分を含む階層型ナビゲーション戦略 (図 1 を参照) です。

オフライン段階では、デモツアー（N、F）に基づいて位相地図Gが生成されます。オンライン段階では、高レベルの戦略は、デモ ツアーとマルチモーダル ユーザー指示 (d,I) を通じて、ナビゲーション ターゲット フレーム インデックス g を見つけます。これは、ツアーの特定のフレームに対応する整数です。次のステップでは、低レベルの戦略はトポロジ マップ、現在のカメラ観測データ (O)、および g を使用して、ロボットが実行する各タイム ステップでのウェイポイント アクション (a) を生成します。

ここで、h と l はそれぞれ高レベルの戦略と低レベルの戦略を表します。

デモンストレーション ツアーとオフライン トポロジ マップの生成

Mobility VLA は、環境デモンストレーション ツアーを利用して MINT の問題を解決します。このようなツアーは人間のユーザーが遠隔から実施することも、環境を歩き回りながらスマートフォンでビデオを録画することもできます。

次に、モビリティ VLA オフラインはトポロジカル グラフ G = (V, E) を構築します。ここで、各頂点 v_i∈V はデモ ツアー ビデオのフレーム f_i (F, N) に対応します。著者らは、既製のモーションから構造を生成するパイプラインである COLMAP を使用して、各フレームのおおよその 6-DOF カメラ ポーズを決定し、それを頂点に保存しました。次に、ターゲット頂点がソース頂点の「前」にあり (ソース頂点との姿勢差が 90 度未満)、かつ 2 メートル以内にある場合、有向エッジが G に追加されます。

従来のナビゲーション パイプライン (環境のマッピング、通過可能なエリアの特定、PRM の構築など) と比較して、トポロジカル マップのアプローチは、ツアーの軌跡に基づいて環境の一般的な接続性を捉えるため、はるかに簡単です。 。

ロングコンテキストマルチモーダルVLMに基づく高レベルのターゲット検索

オンライン実行中、高レベルの戦略はVLMの常識推論機能を利用して、ナビゲーションターゲットを決定します。デモンストレーション ツアー 。さまざまなマルチモーダル、口語的、そして多くの場合曖昧なユーザー指示に対応します。この目的を達成するために、研究者は、インターレースされたテキストと画像から構成されるプロンプト P (F、N、d、I) を作成しました。以下は、表 1 の質問「これをどこに返せばよいですか?」に対応する、マルチモーダル ユーザー コマンドの具体的な例です。

You are a robot operating in a building and your task is to respond to the user command about going to a specific location by finding the closest frame in the tour video to navigate to . These frames are from the tour of the building last year . [ Frame 1 Image f1] Frame 1. [ Frame narrative n1] ... [ Frame k Image fk ] Frame k . [ Frame narrative nk ] This image is what you see now . You may or may not see the user in this image . [ Image Instruction I] The user says : Where should I return this ? How would you respond ? Can you find the closest frame ?

VLM 整数のターゲット フレーム インデックス g を返します。

Utilize the topology map to achieve the low-level goal

Once the high-level strategy determines the target frame index g, the low-level strategy (Algorithm 1) takes over and performs the task at each time step Generates a waypoint action (Formula 1).

At each time step, the authors use a real-time hierarchical visual localization system to estimate the robot's pose T and the nearest starting vertex v_s∈G using the current camera observation O (line 5). The localization system finds the k nearest candidate frames in G via global descriptors and then computes T via PnP. Next, the shortest path S on the topological graph between v_s and the target vertex v_g (the vertex corresponding to g) is determined by Dijkstra's algorithm (line 9). Finally, the low-level policy returns a waypoint action, which is the Δx, Δy, Δθ of the next vertex v_1 in S relative to T (line 10).

Experimental results

To demonstrate the performance of Mobility VLA and further understand the key design, the authors designed experiments to answer the following research questions:

• Question 1: In the real world , does Mobility VLA perform well in MINT?
• Question 2: Will Mobility VLA outperform alternatives due to the use of long context VLM?
• Question 3: Is a topology map necessary? Can VLM directly generate action?

Mobility VLA has robust end-to-end performance in real-life environments

1. High end-to-end success rate. Table 2 shows that Mobility VLA achieves high end-to-end navigation success rates across most user instruction categories, including “reasoning-requirements” and “multimodal” instructions that were previously infeasible.

2. Robust low-level goals are achieved. Table 2 also shows the real-world robustness (100% success rate) of Mobility VLA’s low-level goal attainment strategy. The demonstration tour included was recorded several months before the experiment, when many objects, furniture and lighting conditions were different.

Long context VLM outperforms alternatives in advanced target finding

1. Mobility VLA outperforms alternatives. Table 3 shows that the high-level target finding success rate of Mobility VLA is significantly higher than that of the comparison methods. Given that the low-level success rate is 100%, this high-level target lookup success rate represents the end-to-end success rate.

2. Using long context VLM to process high frame rate tour videos is the key to success. Inputting a complete demonstration tour of a large environment into a non-long-context VLM is challenging because each image requires a budget of hundreds of tokens. One solution to reduce the number of input tokens is to lower the tour video frame rate, at the cost of losing intermediate frames. Table 4 shows that as the tour frame rate decreases, the high-level target lookup success rate also decreases. This is not surprising, as tour videos with lower frame rates sometimes lose navigation target frames. Furthermore, when comparing state-of-the-art VLMs, only Gemini 1.5 Pro has a satisfactory success rate, thanks to its context length of up to 1 million tokens.

Topology map is the key to success

Table 5 shows the end-to-end performance of Mobility VLA in simulations compared to prompt VLM direct output waypoint operation. The 0% end-to-end success rate shows that Gemini 1.5 Pro is unable to achieve zero-shot navigation of the robot without a topological map. Based on experiments, the author found that Gemini almost always outputs a "move forward" waypoint action regardless of the current camera observation. Additionally, the current Gemini 1.5 API requires uploading all 948 tour images on every inference call, resulting in a cost-prohibitive 26 seconds of runtime for every 1 meter the robot moves. On the other hand, Mobility VLA's high-level VLM will take 10-30 seconds to find the target index, and then the robot will use the low-level topology map to navigate to the target, resulting in a highly robust and efficient (0.19 seconds per step) system to Solve the MINT problem.

Please refer to the original paper for more details.

The above is the detailed content of Gemini 1.5 Pro is installed into the robot, and it can provide concierge and guidance after visiting the company.. For more information, please follow other related articles on the PHP Chinese website!