「人物とシーンのインタラクティブ生成」で新たな躍進!天達大学と清華大学がナレーターをリリース: テキスト駆動、自然に制御可能 | ICCV 2023
自然で制御可能なヒューマン シーン インタラクション (HSI) の生成は、仮想現実/拡張現実 (VR/AR) コンテンツ作成や人間中心の人工知能などの多くの分野で重要な役割を果たしています。
#しかし、既存の方法には制御性が限られ、インタラクションの種類が限られ、生成される結果が不自然であり、実際の適用シナリオが大幅に制限されています。 ICCV 2023 での研究では、天津大学と清華大学のチームが、この問題を調査するためにナレーターと呼ばれるソリューションを提案しました。このソリューションは、テキストの説明から現実的で多様な人間のシーンのインタラクションを自然かつ制御可能に生成するという困難なタスクに焦点を当てています Picture
#メソッド モチベーション
既存の人間とシーンのインタラクション生成方法は主にインタラクションの物理的な幾何学的関係に焦点を当てていますが、生成に対する意味論的な制御が欠如しており、単一人物の生成に限定されています。
したがって、著者らは、自然言語記述から現実的で多様な人間のシーンのインタラクションを制御可能に生成するという困難なタスクに焦点を当てます。著者らは、人間は通常、空間認識と行動認識を使用して、さまざまな場所でさまざまな相互作用に従事している人々を自然に描写していることを観察しました。
画像書き換えられたコンテンツは次のとおりです。 図 1 によると、ナレーターは意味的に一貫した物理的なメッセージを自然かつ制御可能に生成できます。合理的な人間とシーンのインタラクションは、次の状況に適しています: (a) 空間関係に基づいたインタラクション、(b) 複数のアクションに基づいたインタラクション、(c) 複数人のシーンのインタラクション、および (d) 上記のインタラクション タイプの組み合わせ- シーン インタラクション
具体的には、空間関係を使用して、シーンまたはローカル エリア内のさまざまなオブジェクト間の相互関係を説明できます。インタラクティブなアクションは、人間の両足が地面に着く、胴にもたれる、右手でタップする、頭を下げるなど、原子の各部分の状態によって指定されます。 ##これを出発点として、著者は空間関係を表すためにシーン グラフが使用され、後続の世代にグローバルな位置認識を提供するためにジョイント グローバルおよびローカル シーン グラフ (JGLSG) メカニズムが提案されています。
同時に、ボディパーツの状態がテキストと一致する現実的なインタラクションをシミュレートするための鍵であることを考慮して、著者はパーツレベルアクション (PLA) メカニズムを導入して、人体の各部位とそれらの間の動作の対応関係。
効果的な観察的認知と、提案された関係論的推論の柔軟性と再利用可能性の恩恵を受けて、著者はさらに、シンプルで効果的な複数人生成戦略を提案します。これは、当時初めて自然に制御可能なものでした。ユーザーフレンドリーなマルチヒューマンシーンインタラクション(MHSI)生成ソリューション。
メソッドのアイデア
ナレーター フレームワークの概要
ナレーターの目標は自然であることですテキストの説明と意味的に一貫性があり、3 次元シーンと物理的に一致するキャラクターとシーン間のインタラクションを生成する制御可能な方法
##Picture図 2 ナレーター フレームワークの概要
図 2 に示すように、このメソッドは Transformer ベースの条件付き変分オートエンコーダー (cVAE) を使用します。これには主に次のいくつかの部分が含まれます。
2)人間は体のさまざまな部分でインタラクティブなアクションを同時に完了するという観察に基づいて、現実的で多様なインタラクションを実現するために、コンポーネント レベルのアクション メカニズムが導入されています。最適化プロセスを意識し、より良い生成結果を得るためにインタラクティブな両面損失を追加導入しました
4) さらに複数人のインタラクションの生成まで拡張し、最終的には複数人のシーン インタラクションの最初のステップを促進します。
グローバル シーン グラフとローカル シーン グラフのメカニズムを組み合わせた
空間関係の推論により、モデルに特定のシーンに関する手がかりを提供できます。人間とシーンのインタラクションを実現し、自然な制御性が重要な役割を果たします。
この目標を達成するために、著者は、次の 3 つのステップを通じて実装される、グローバルおよびローカルのシーン グラフ結合メカニズムを提案します。 1. グローバル シーン グラフの生成: 与えられたシーンで、事前トレーニングされたシーン グラフ モデルを使用してグローバル シーン グラフ、つまり
を生成します。ここで、、
はカテゴリ ラベル を持つオブジェクトです。は と
の間の関係、n はオブジェクトの数、m は関係の数です;
2. ローカル シーン グラフの生成: セマンティック分析ツールを使用して、識別して説明する 文構造が抽出および生成され、ローカル シーン
は主語、述語、目的語の 3 つの要素を定義します。
シーン グラフのマッチング: ~同じオブジェクト セマンティクス ラベルを使用すると、モデルはグローバル シーン グラフとローカル シーン グラフのノードに対応し、エッジ関係を拡張して位置情報を提供する仮想ヒューマン ノードを追加します
コンポーネント レベルのアクション (PLA) メカニズム
著者は、モデルが身体の重要な部分の状態に気づき、特定の状態から無関係な部分を無視できるようにする、きめの細かいパーツ レベルのアクション メカニズムを提案します。インタラクション
具体的には、著者は豊富で多様なインタラクティブなアクションを探索し、これらの可能なアクションを人体の 5 つの主要な部分 (頭、胴体、左/右腕、左/右手) にマッピングします。そして左右の下半身。
#後続のエンコードでは、One-Hot を使用してこれらのアクションと身体部分を同時に表現し、対応する関係に従ってそれらを接続できます 著者は、身体構造のさまざまな部分の状態を学習するために、マルチアクションのインタラクション生成でアテンション メカニズムを使用しています。 インタラクティブ アクションの特定の組み合わせでは、各アクションに対応する身体部分と他のすべてのアクションの間の注意は自動的にブロックされます。 「キャビネットを使って地面にしゃがむ人」を例にとると、しゃがむということは下半身の状態に相当するため、他の部分によってマークされた注意力はゼロになります。 書き換え内容:「キャビネットを使って地面にしゃがむ人」を例にとると、しゃがむということは下半身の状態に相当するため、他の部位への注意が完全に遮断されてしまう#シーンを意識した最適化
作者は、幾何学的および物理的制約を使用してシーンを意識した最適化を実行し、生成結果を改善しました。この方法では、最適化プロセス全体を通じて、生成されたポーズが逸脱しないようにしながら、シーンとの接触を促進し、シーンとの相互侵入を避けるために身体を拘束します。
与えられた 3 次元シーンS 生成された SMPL-X パラメータを追加した後の最適化損失は次のとおりです:
その中で、 はボディの頂点がシーンに接触することを促します。
は符号付き距離に基づく衝突項です。
はサンプリングされた既存の作業と比較して追加で導入されたインタラクティブ二部構成 (IBS) 損失です。 from シーンと人体との間の等距離点のコレクション;
は、初期化から逸脱したパラメーターにペナルティを与えるために使用される正則化係数です。
複数人シーン インタラクション (MHSI)
現実世界のシーンでは、多くの場合、シーンと対話しているのは 1 人だけではなく、複数人です。独立して、または関係的に相互作用します。
ただし、MHSI データセットが不足しているため、既存の方法では通常、追加の手動作業が必要であり、このタスクを制御された自動方法で処理することはできません。
この目的を達成するために、著者は既存の 1 人のデータセットのみを利用し、複数人の生成方向のためのシンプルで効果的な戦略を提案します。
複数の人物に関連するテキストの説明が与えられた後、作成者はまずそれを複数のローカル シーン グラフ とインタラクティブ アクション
に解析し、候補セットを ## として定義します。 #、l は人数です。
および対応するグローバル シーン グラフ とともにナレーターに入力され、その後、最適化プロセスが実行されます。 。
が導入されます。ここで、 は人々の間の記号的な距離です。
; それ以外の場合、生成された結果は信頼できないとみなされ、対応するオブジェクトが削除されます。 を更新するシールド ノードです。
##実験結果
既存の方法では、テキスト記述から直接人間とシーンのインタラクションを自然かつ制御可能に生成できないという事実を考慮して、PiGraph [1]、POSA [2]、および COINS [3] を使用します。テキストの説明を処理できるように合理的に拡張し、同じデータセットを使用して公式モデルをトレーニングしました。変更後、これらのメソッドに PiGraph-Text、POSA-Text、COINS-Text
という名前を付けました。図
図 3 さまざまな方法の定性的比較結果
ナレーターと 3 つのベースラインを図 3 に示します。定性的比較結果。 PiGraph-Text の表現制限により、より深刻な浸透の問題が発生します。
POSA-Text は、最適化プロセス中に極小値に陥ることが多く、その結果、インタラクティブな接触が不良になります。 COINS-Text はアクションを特定のオブジェクトにバインドし、シーンの全体的な認識を欠き、不特定のオブジェクトの侵入につながり、複雑な空間関係を処理するのが困難です。
対照的に、ナレーターは、さまざまなレベルのテキスト説明に基づいて空間関係を正確に推論し、複数のアクションの下で身体の状態を分析することで、より良い生成結果を達成できます。
表 1 に示すように、定量的な比較の観点からは、ナレーターは 5 つの指標において他の方法よりも優れており、この方法によって生成された結果はテキストの一貫性がより正確であり、物理的な妥当性が優れていることがわかります。
#表 1 さまざまな方法の定量的比較結果
図 4 COINS 逐次生成および最適化手法を使用した MHSI との定性的比較
主な研究方向には、3 次元ビジョン、コンピュータ ビジョン、人間によるインタラクティブ生成が含まれます。シーン付き
##研究の方向性は主に人間中心のコンピュータ ビジョンとグラフィックスに焦点を当てています
##主な研究方向: コンピューター グラフィックス、3 次元ビジョン、コンピューテーショナル フォトグラフィー
##個人ホームページのリンク: https://liuyebin.com/
主な研究方向: 3 次元ビジョン、インテリジェントな再構成と生成
個人ホームページ: http:// cic .tju.edu.cn/faculty/likun
参考文献:
[1] Savva M、Chang A X、Hanrahan P、ほか Pigraphs: From Observationインタラクティブ スナップショットの学習[J]. ACM Transactions on Graphics (TOG)、2016、35(4): 1-12.
[2] Hassan M、Ghosh P、Tesch J 他、3D シーンの作成人間とシーンのインタラクションを学習することによる[C]. コンピューター ビジョンとパターン認識に関する IEEE/CVF 会議議事録. 2021: 14708-14718.
[3] Zhao K、Wang S、Zhang Y、他. セマンティック制御を使用した構成的ヒューマンシーン インタラクション合成 [C]. コンピュータ ビジョンに関する欧州会議. Cham: Springer Nature Switzerland, 2022: 311-327.
以上が「人物とシーンのインタラクティブ生成」で新たな躍進!天達大学と清華大学がナレーターをリリース: テキスト駆動、自然に制御可能 | ICCV 2023の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

Microsoft PowerBIチャートでデータ視覚化の力を活用する 今日のデータ駆動型の世界では、複雑な情報を非技術的な視聴者に効果的に伝えることが重要です。 データの視覚化は、このギャップを橋渡しし、生データを変換するi

エキスパートシステム:AIの意思決定力に深く飛び込みます 医療診断から財務計画まで、あらゆることに関する専門家のアドバイスにアクセスできることを想像してください。 それが人工知能の専門家システムの力です。 これらのシステムはプロを模倣します

まず第一に、これがすぐに起こっていることは明らかです。さまざまな企業が、現在AIによって書かれているコードの割合について話しており、これらは迅速なクリップで増加しています。すでに多くの仕事の移動があります

映画業界は、デジタルマーケティングからソーシャルメディアまで、すべてのクリエイティブセクターとともに、技術的な岐路に立っています。人工知能が視覚的なストーリーテリングのあらゆる側面を再構築し始め、エンターテイメントの風景を変え始めたとき

ISROの無料AI/MLオンラインコース:地理空間技術の革新へのゲートウェイ インド宇宙研究機関(ISRO)は、インドのリモートセンシング研究所(IIRS)を通じて、学生と専門家に素晴らしい機会を提供しています。

ローカル検索アルゴリズム:包括的なガイド 大規模なイベントを計画するには、効率的なワークロード分布が必要です。 従来のアプローチが失敗すると、ローカル検索アルゴリズムは強力なソリューションを提供します。 この記事では、Hill ClimbingとSimulについて説明します

このリリースには、GPT-4.1、GPT-4.1 MINI、およびGPT-4.1 NANOの3つの異なるモデルが含まれており、大規模な言語モデルのランドスケープ内のタスク固有の最適化への動きを示しています。これらのモデルは、ようなユーザー向けインターフェイスをすぐに置き換えません

Chip Giant Nvidiaは、月曜日に、AI Supercomputersの製造を開始すると述べました。これは、大量のデータを処理して複雑なアルゴリズムを実行できるマシンを初めて初めて米国内で実行します。発表は、トランプSI大統領の後に行われます


ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

WebStorm Mac版
便利なJavaScript開発ツール

EditPlus 中国語クラック版
サイズが小さく、構文の強調表示、コード プロンプト機能はサポートされていません

Dreamweaver Mac版
ビジュアル Web 開発ツール

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

SAP NetWeaver Server Adapter for Eclipse
Eclipse を SAP NetWeaver アプリケーション サーバーと統合します。
