「人物とシーンのインタラクティブ生成」で新たな躍進!天達大学と清華大学がナレーターをリリース: テキスト駆動、自然に制御可能 | ICCV 2023
自然で制御可能なヒューマン シーン インタラクション (HSI) の生成は、仮想現実/拡張現実 (VR/AR) コンテンツ作成や人間中心の人工知能などの多くの分野で重要な役割を果たしています。
#しかし、既存の方法には制御性が限られ、インタラクションの種類が限られ、生成される結果が不自然であり、実際の適用シナリオが大幅に制限されています。 ICCV 2023 での研究では、天津大学と清華大学のチームが、この問題を調査するためにナレーターと呼ばれるソリューションを提案しました。このソリューションは、テキストの説明から現実的で多様な人間のシーンのインタラクションを自然かつ制御可能に生成するという困難なタスクに焦点を当てています Picture
#メソッド モチベーション
既存の人間とシーンのインタラクション生成方法は主にインタラクションの物理的な幾何学的関係に焦点を当てていますが、生成に対する意味論的な制御が欠如しており、単一人物の生成に限定されています。
したがって、著者らは、自然言語記述から現実的で多様な人間のシーンのインタラクションを制御可能に生成するという困難なタスクに焦点を当てます。著者らは、人間は通常、空間認識と行動認識を使用して、さまざまな場所でさまざまな相互作用に従事している人々を自然に描写していることを観察しました。
画像書き換えられたコンテンツは次のとおりです。 図 1 によると、ナレーターは意味的に一貫した物理的なメッセージを自然かつ制御可能に生成できます。合理的な人間とシーンのインタラクションは、次の状況に適しています: (a) 空間関係に基づいたインタラクション、(b) 複数のアクションに基づいたインタラクション、(c) 複数人のシーンのインタラクション、および (d) 上記のインタラクション タイプの組み合わせ- シーン インタラクション
具体的には、空間関係を使用して、シーンまたはローカル エリア内のさまざまなオブジェクト間の相互関係を説明できます。インタラクティブなアクションは、人間の両足が地面に着く、胴にもたれる、右手でタップする、頭を下げるなど、原子の各部分の状態によって指定されます。 ##これを出発点として、著者は空間関係を表すためにシーン グラフが使用され、後続の世代にグローバルな位置認識を提供するためにジョイント グローバルおよびローカル シーン グラフ (JGLSG) メカニズムが提案されています。
同時に、ボディパーツの状態がテキストと一致する現実的なインタラクションをシミュレートするための鍵であることを考慮して、著者はパーツレベルアクション (PLA) メカニズムを導入して、人体の各部位とそれらの間の動作の対応関係。
効果的な観察的認知と、提案された関係論的推論の柔軟性と再利用可能性の恩恵を受けて、著者はさらに、シンプルで効果的な複数人生成戦略を提案します。これは、当時初めて自然に制御可能なものでした。ユーザーフレンドリーなマルチヒューマンシーンインタラクション(MHSI)生成ソリューション。
メソッドのアイデア
ナレーター フレームワークの概要
ナレーターの目標は自然であることですテキストの説明と意味的に一貫性があり、3 次元シーンと物理的に一致するキャラクターとシーン間のインタラクションを生成する制御可能な方法
##Picture図 2 ナレーター フレームワークの概要
図 2 に示すように、このメソッドは Transformer ベースの条件付き変分オートエンコーダー (cVAE) を使用します。これには主に次のいくつかの部分が含まれます。
2)人間は体のさまざまな部分でインタラクティブなアクションを同時に完了するという観察に基づいて、現実的で多様なインタラクションを実現するために、コンポーネント レベルのアクション メカニズムが導入されています。最適化プロセスを意識し、より良い生成結果を得るためにインタラクティブな両面損失を追加導入しました
4) さらに複数人のインタラクションの生成まで拡張し、最終的には複数人のシーン インタラクションの最初のステップを促進します。
グローバル シーン グラフとローカル シーン グラフのメカニズムを組み合わせた
空間関係の推論により、モデルに特定のシーンに関する手がかりを提供できます。人間とシーンのインタラクションを実現し、自然な制御性が重要な役割を果たします。
この目標を達成するために、著者は、次の 3 つのステップを通じて実装される、グローバルおよびローカルのシーン グラフ結合メカニズムを提案します。 1. グローバル シーン グラフの生成: 与えられたシーンで、事前トレーニングされたシーン グラフ モデルを使用してグローバル シーン グラフ、つまり
を生成します。ここで、、
はカテゴリ ラベル を持つオブジェクトです。は と
の間の関係、n はオブジェクトの数、m は関係の数です;
2. ローカル シーン グラフの生成: セマンティック分析ツールを使用して、識別して説明する 文構造が抽出および生成され、ローカル シーン
は主語、述語、目的語の 3 つの要素を定義します。
シーン グラフのマッチング: ~同じオブジェクト セマンティクス ラベルを使用すると、モデルはグローバル シーン グラフとローカル シーン グラフのノードに対応し、エッジ関係を拡張して位置情報を提供する仮想ヒューマン ノードを追加します
コンポーネント レベルのアクション (PLA) メカニズム
著者は、モデルが身体の重要な部分の状態に気づき、特定の状態から無関係な部分を無視できるようにする、きめの細かいパーツ レベルのアクション メカニズムを提案します。インタラクション
具体的には、著者は豊富で多様なインタラクティブなアクションを探索し、これらの可能なアクションを人体の 5 つの主要な部分 (頭、胴体、左/右腕、左/右手) にマッピングします。そして左右の下半身。
#後続のエンコードでは、One-Hot を使用してこれらのアクションと身体部分を同時に表現し、対応する関係に従ってそれらを接続できます 著者は、身体構造のさまざまな部分の状態を学習するために、マルチアクションのインタラクション生成でアテンション メカニズムを使用しています。 インタラクティブ アクションの特定の組み合わせでは、各アクションに対応する身体部分と他のすべてのアクションの間の注意は自動的にブロックされます。 「キャビネットを使って地面にしゃがむ人」を例にとると、しゃがむということは下半身の状態に相当するため、他の部分によってマークされた注意力はゼロになります。 書き換え内容:「キャビネットを使って地面にしゃがむ人」を例にとると、しゃがむということは下半身の状態に相当するため、他の部位への注意が完全に遮断されてしまう#シーンを意識した最適化
作者は、幾何学的および物理的制約を使用してシーンを意識した最適化を実行し、生成結果を改善しました。この方法では、最適化プロセス全体を通じて、生成されたポーズが逸脱しないようにしながら、シーンとの接触を促進し、シーンとの相互侵入を避けるために身体を拘束します。
与えられた 3 次元シーンS 生成された SMPL-X パラメータを追加した後の最適化損失は次のとおりです:
その中で、 はボディの頂点がシーンに接触することを促します。
は符号付き距離に基づく衝突項です。
はサンプリングされた既存の作業と比較して追加で導入されたインタラクティブ二部構成 (IBS) 損失です。 from シーンと人体との間の等距離点のコレクション;
は、初期化から逸脱したパラメーターにペナルティを与えるために使用される正則化係数です。
複数人シーン インタラクション (MHSI)
現実世界のシーンでは、多くの場合、シーンと対話しているのは 1 人だけではなく、複数人です。独立して、または関係的に相互作用します。
ただし、MHSI データセットが不足しているため、既存の方法では通常、追加の手動作業が必要であり、このタスクを制御された自動方法で処理することはできません。
この目的を達成するために、著者は既存の 1 人のデータセットのみを利用し、複数人の生成方向のためのシンプルで効果的な戦略を提案します。
複数の人物に関連するテキストの説明が与えられた後、作成者はまずそれを複数のローカル シーン グラフ とインタラクティブ アクション
に解析し、候補セットを ## として定義します。 #、l は人数です。
および対応するグローバル シーン グラフ とともにナレーターに入力され、その後、最適化プロセスが実行されます。 。
が導入されます。ここで、 は人々の間の記号的な距離です。
; それ以外の場合、生成された結果は信頼できないとみなされ、対応するオブジェクトが削除されます。 を更新するシールド ノードです。
##実験結果
既存の方法では、テキスト記述から直接人間とシーンのインタラクションを自然かつ制御可能に生成できないという事実を考慮して、PiGraph [1]、POSA [2]、および COINS [3] を使用します。テキストの説明を処理できるように合理的に拡張し、同じデータセットを使用して公式モデルをトレーニングしました。変更後、これらのメソッドに PiGraph-Text、POSA-Text、COINS-Text
という名前を付けました。図
図 3 さまざまな方法の定性的比較結果
ナレーターと 3 つのベースラインを図 3 に示します。定性的比較結果。 PiGraph-Text の表現制限により、より深刻な浸透の問題が発生します。
POSA-Text は、最適化プロセス中に極小値に陥ることが多く、その結果、インタラクティブな接触が不良になります。 COINS-Text はアクションを特定のオブジェクトにバインドし、シーンの全体的な認識を欠き、不特定のオブジェクトの侵入につながり、複雑な空間関係を処理するのが困難です。
対照的に、ナレーターは、さまざまなレベルのテキスト説明に基づいて空間関係を正確に推論し、複数のアクションの下で身体の状態を分析することで、より良い生成結果を達成できます。
表 1 に示すように、定量的な比較の観点からは、ナレーターは 5 つの指標において他の方法よりも優れており、この方法によって生成された結果はテキストの一貫性がより正確であり、物理的な妥当性が優れていることがわかります。
#表 1 さまざまな方法の定量的比較結果
図 4 COINS 逐次生成および最適化手法を使用した MHSI との定性的比較
主な研究方向には、3 次元ビジョン、コンピュータ ビジョン、人間によるインタラクティブ生成が含まれます。シーン付き
##研究の方向性は主に人間中心のコンピュータ ビジョンとグラフィックスに焦点を当てています
##主な研究方向: コンピューター グラフィックス、3 次元ビジョン、コンピューテーショナル フォトグラフィー
##個人ホームページのリンク: https://liuyebin.com/
主な研究方向: 3 次元ビジョン、インテリジェントな再構成と生成
個人ホームページ: http:// cic .tju.edu.cn/faculty/likun
参考文献:
[1] Savva M、Chang A X、Hanrahan P、ほか Pigraphs: From Observationインタラクティブ スナップショットの学習[J]. ACM Transactions on Graphics (TOG)、2016、35(4): 1-12.
[2] Hassan M、Ghosh P、Tesch J 他、3D シーンの作成人間とシーンのインタラクションを学習することによる[C]. コンピューター ビジョンとパターン認識に関する IEEE/CVF 会議議事録. 2021: 14708-14718.
[3] Zhao K、Wang S、Zhang Y、他. セマンティック制御を使用した構成的ヒューマンシーン インタラクション合成 [C]. コンピュータ ビジョンに関する欧州会議. Cham: Springer Nature Switzerland, 2022: 311-327.
以上が「人物とシーンのインタラクティブ生成」で新たな躍進!天達大学と清華大学がナレーターをリリース: テキスト駆動、自然に制御可能 | ICCV 2023の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ジェマの範囲で言語モデルの内部の仕組みを探る AI言語モデルの複雑さを理解することは、重要な課題です。 包括的なツールキットであるGemma ScopeのGoogleのリリースは、研究者に掘り下げる強力な方法を提供します

ビジネスの成功のロック解除:ビジネスインテリジェンスアナリストになるためのガイド 生データを組織の成長を促進する実用的な洞察に変換することを想像してください。 これはビジネスインテリジェンス(BI)アナリストの力です - GUにおける重要な役割

SQLの変更テーブルステートメント:データベースに列を動的に追加する データ管理では、SQLの適応性が重要です。 その場でデータベース構造を調整する必要がありますか? Alter Tableステートメントはあなたの解決策です。このガイドの詳細は、コルを追加します

導入 2人の専門家が重要なプロジェクトで協力している賑やかなオフィスを想像してください。 ビジネスアナリストは、会社の目標に焦点を当て、改善の分野を特定し、市場動向との戦略的整合を確保しています。 シム

Excelデータカウントと分析:カウントとカウントの機能の詳細な説明 特に大規模なデータセットを使用する場合、Excelでは、正確なデータカウントと分析が重要です。 Excelは、これを達成するためにさまざまな機能を提供し、CountおよびCounta関数は、さまざまな条件下でセルの数をカウントするための重要なツールです。両方の機能はセルをカウントするために使用されますが、設計ターゲットは異なるデータ型をターゲットにしています。 CountおよびCounta機能の特定の詳細を掘り下げ、独自の機能と違いを強調し、データ分析に適用する方法を学びましょう。 キーポイントの概要 カウントとcouを理解します

Google Chrome'sAI Revolution:パーソナライズされた効率的なブラウジングエクスペリエンス 人工知能(AI)は私たちの日常生活を急速に変換しており、Google ChromeはWebブラウジングアリーナで料金をリードしています。 この記事では、興奮を探ります

インパクトの再考:四重材のボトムライン 長い間、会話はAIの影響の狭い見方に支配されており、主に利益の最終ラインに焦点を当てています。ただし、より全体的なアプローチは、BUの相互接続性を認識しています

物事はその点に向かって着実に動いています。量子サービスプロバイダーとスタートアップに投資する投資は、業界がその重要性を理解していることを示しています。そして、その価値を示すために、現実世界のユースケースの数が増えています


ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

WebStorm Mac版
便利なJavaScript開発ツール

ドリームウィーバー CS6
ビジュアル Web 開発ツール

AtomエディタMac版ダウンロード
最も人気のあるオープンソースエディター

DVWA
Damn Vulnerable Web App (DVWA) は、非常に脆弱な PHP/MySQL Web アプリケーションです。その主な目的は、セキュリティ専門家が法的環境でスキルとツールをテストするのに役立ち、Web 開発者が Web アプリケーションを保護するプロセスをより深く理解できるようにし、教師/生徒が教室環境で Web アプリケーションを教え/学習できるようにすることです。安全。 DVWA の目標は、シンプルでわかりやすいインターフェイスを通じて、さまざまな難易度で最も一般的な Web 脆弱性のいくつかを実践することです。このソフトウェアは、

Safe Exam Browser
Safe Exam Browser は、オンライン試験を安全に受験するための安全なブラウザ環境です。このソフトウェアは、あらゆるコンピュータを安全なワークステーションに変えます。あらゆるユーティリティへのアクセスを制御し、学生が無許可のリソースを使用するのを防ぎます。
