検索
ホームページテクノロジー周辺機器AIアニメーション制作効率80%アップ!ワンクリックで高精度なビデオモーションキャプチャを実現するAIソフトウェア

AIGC には新しい魔法があります。

アニメーターの手Kや習慣キャプチャ、ライトキャプチャなどは必要なく、動画を提供するだけで自動的にアクションを出力できるAIモーションキャプチャソフトです。わずか数分でバーチャルヒューマンのアニメーションが完成します。

アニメーション制作効率80%アップ!ワンクリックで高精度なビデオモーションキャプチャを実現するAIソフトウェア

# 手足の大きな動きだけでなく、手の細部まで正確に捉えることができます。

シングルビューのビデオに加えて、マルチビューのビデオにも対応しており、単眼認識のみをサポートする他のモーション キャプチャ ソフトウェアと比較して、このソフトウェアはより高いモーション キャプチャ品質を提供できます。

アニメーション制作効率80%アップ!ワンクリックで高精度なビデオモーションキャプチャを実現するAIソフトウェア

#同時に、このソフトウェアは、認識された人体のキーポイント、滑らかさ、足跡の詳細などの編集と修正もサポートしています。一般プレイヤーの興味体験から、ハードコアプレイヤーのプロフェッショナルなニーズまで、あらゆるものを満たすことができます。

アニメーション制作効率80%アップ!ワンクリックで高精度なビデオモーションキャプチャを実現するAIソフトウェア

これは、NetEase Interactive Entertainment AI Lab によって長年開発され、反復的に最適化され、低コストで開発されてきた AIxPose です。プロのアート フィードバックに基づいたキー ビデオ モーション キャプチャ ソフトウェア。このソフトウェアは数十時間以上のビデオ リソースを処理し、ゲーム プロット アニメーション、人気のダンス アニメーション、その他のリソースの制作プロセスに使用されたと報告されています。実際のプロジェクトで検証したところ、1分間のダンスアニメーションを手作業で制作すると20日以上かかる場合もあったが、AIxPoseの支援により制作にかかる時間はわずか3日となり、全工程が80%以上短縮された。

最近、NetEase Interactive Entertainment AI Lab は、このソフトウェアの開発経験とモーション キャプチャ分野での関連研究作業に基づいて、「分析事後確率の学習」という論文をまとめました。 Recovery」は、コンピューター ビジョンのトップ カンファレンスである CVPR 2023 に採択されました。

アニメーション制作効率80%アップ!ワンクリックで高精度なビデオモーションキャプチャを実現するAIソフトウェア

    #ホームページのアドレス: https://netease-gameai.github.io/ProPose/
  • 論文アドレス: https://netease-gameai.github.io/ProPose/static/assets/CVPR2023_ProPose.pdf
  • ##この論文は、事後確率に基づくビデオ モーション キャプチャ テクノロジーである ProPose を革新的に提案します。これにより、単一画像やマルチセンサー フュージョンなどのさまざまな設定下で正確な 3 次元の人間の姿勢推定を実現できます。技術的精度は、事前分布を使用したベースラインの確率的手法より 19% 高く、公開データセット 3DPW、Human3.6M、および AGORA での過去の手法を上回っています。さらに、マルチセンサー フュージョン タスクの場合、このテクノロジーは、新しいセンサーの導入によりニューラル ネットワークのバックボーンを変更することなく、ベースライン モデルよりも高い精度を達成することもできます。

技術的背景

この研究のタスクは、RGB 画像からヒューマン メッシュ回復 (hmr) を予測することです。既存の手法は 2 つのカテゴリに要約できます: 直接手法そして間接的な方法。直接法では、ニューラル ネットワークを使用して人間の関節の回転表現 (軸の角度、回転行列、6D ベクトルなど) をエンドツーエンドで回帰しますが、間接法では最初にいくつかの中間表現 (3 次元ベクトルなど) を予測します。次元のキー ポイント、セグメンテーションなど)、これらの中間を通過することにより、関節の回転が取得されることを示します。

ただし、どちらのタイプの方法にもいくつかの問題があります。直接法では、回転などの抽象表現をネットワークに直接学習させる必要があるため、キーポイントやセグメンテーションの学習に比べて回転の学習が比較的難しく、ネットワークが出力する結果が画像と一致しにくい場合があります。下の図 (a) の最初の列の右足など、一部の大きな動きは完全に後方に伸ばすことができません。対照的に、間接的な方法は一般に高い精度を生成しますが、そのような方法のパフォーマンスは中間表現の精度に大きく依存します。中間表現がノイズによるエラーを生成すると、最終的な回転が非常に明白に見えることが容易になります。エラー、以下の (b) の 2 行目の左側に示すように。

アニメーション制作効率80%アップ!ワンクリックで高精度なビデオモーションキャプチャを実現するAIソフトウェア

#前述の決定論的手法に加えて、特定の確率分布を学習することで人間の姿勢の不確実性をモデル化する手法もいくつかあります。システムの堅牢性を向上させるために考慮されます。現在、主な確率モデリング手法には、多変量ガウス分布、正規化フロー、ニューラル ネットワーク陰的モデリングなどが含まれますが、非 SO (3) 上のこれらの確率分布は、関節回転の不確実性を真に反映することはできません。たとえば、不確実性が大きい場合、SO (3) のガウス分布の局所線形性の仮定は成立しません。最近の研究では、ネットワークを直接使用して行列フィッシャー分布のパラメータを学習しています。これは SO (3) 上の分布ではありますが、この方法の学習方法は直接法に似ており、収束性能は比較できません。既存の間接法です。

高精度と堅牢性の両方を考慮し、確率的手法のパフォーマンスを向上させるために、ProPose は関節回転の解析事後確率を導き出します。これは、もたらされる変化から恩恵を受けるだけではありません。さまざまな観測変数による高精度で不確実性を測定し、アルゴリズムに対するノイズの影響を可能な限り低減することもできます。下図に示すように、ProPose は入力画像に対して、腕の軸に沿った右手の回転、腕の回転の方向など、出力確率分布を通じてさまざまな方向の関節回転の不確実性をある程度測定できます。左腕の上下振りや左ふくらはぎの距離感など。 #技術的実装

人体モデリング ##この研究では、人間の姿勢モジュールの確率構築を行います。 、目標は、いくつかの観測変数 (骨の方向 d など) の下で関節回転 R の事後確率 p (R|d,⋯) を見つけることです。

具体的には、人体の関節回転は SO (3) に位置し、親関節に対する子関節の単位ボーン方向は S^2 に位置するため、 、これら 2 つに基づいて、多様体上の確率分布を解析します。

まず、SO (3) 上の行列フィッシャー分布 MF (⋅) は、次の式 F に示すように、関節回転 R の事前分布として使用できます。 ∈R^(3×3 ) は分布のパラメータ、c (F) は正規化定数、tr は行列のトレースを表します。

アニメーション制作効率80%アップ!ワンクリックで高精度なビデオモーションキャプチャを実現するAIソフトウェア#次の式に示すように、F は平均 M と、平均値を表す集計項について直接解くことができます。 SVD 分解による分布集約度 K.このうち、Δ=diag (1,1,|UV|) は対角直交行列で、M の行列式が 1 になるようにするために使用され、特殊直交群に分類されます。

第二に、骨の方向が関節の回転によって計算できることを考慮すると、関節の回転 R は次のようにみなできます。暗黙の変数、骨の向き d が観測変数として使用されます。R の指定された条件下で、S^2 上のユニットの向き d は、フォン ミーゼス-フィッシャー分布に従います: アニメーション制作効率80%アップ!ワンクリックで高精度なビデオモーションキャプチャを実現するAIソフトウェア

このうち、κ∈R と d∈S^2 はそれぞれ集計項と分布の平均値、l は基準姿勢での単位骨の向き (たとえば、 T ポーズとして)、理論的には Rl= d を満たします。つまり、基準骨の方向が関節の回転を通じて現在の骨の方向に転送されます。 アニメーション制作効率80%アップ!ワンクリックで高精度なビデオモーションキャプチャを実現するAIソフトウェア

ベイズ理論を使用すると、事前分布 p (R) と尤度関数 p (d|R) が与えられると、骨の向きを条件とした関節回転の事後分布を計算できます。事後確率 p (R|d) の分析形式:

これから、次の結論が得られます。事後確率 p ( R|d) も行列フィッシャー分布に従い、そのパラメーターは F から F^'=F κdl^T に更新されます。 アニメーション制作効率80%アップ!ワンクリックで高精度なビデオモーションキャプチャを実現するAIソフトウェア

上記の事後確率は、観測量として人間の骨格の向きのみを考慮していますが、同様に他の方向の観測量 d_i や回転の観測量 D_j にも拡張できます。他のセンサー (IMU など) によって生成される場合、分析事後確率は次の一般的な形式で取得されます:

アニメーション制作効率80%アップ!ワンクリックで高精度なビデオモーションキャプチャを実現するAIソフトウェア

ここで、κ_i と K_j は集計項です。 g (⋅) は、方向観測値を回転推定値に変換できる IK 形式のマッピングで、g (d_i)=dl^T などの最も単純な形式を採用できます。 Z_1 と Z_3 は、それぞれ方向観測値と回転観測値のセットを表します。

特性

このセクションでは、事後確率分布が事前確率分布よりも高い確率を持つことについてさらに説明します。集約の程度。

前述のセクションでは、新しいパラメータ F' によって特徴付けられる、人間の関節回転の事後確率の解析形式を紹介しました。事後パラメータ F^' は別の観点から理解できます。つまり、F^' は、F と同じ平均項 M と新しい集計項 K^' の積です。

アニメーション制作効率80%アップ!ワンクリックで高精度なビデオモーションキャプチャを実現するAIソフトウェア

ここで、M^T dl^T=ll^T はランク 1 の実対称行列であり、K も実対称行列、つまり事後集約項 K' です。も実対称行列です。行列解析における実対称行列に関するスタッガード定理によれば、K' の固有値 λ_i' と K の固有値 λ_i には次の不等式の関係があることがわかります。

アニメーション制作効率80%アップ!ワンクリックで高精度なビデオモーションキャプチャを実現するAIソフトウェア集計項の固有値が分布パラメータの特異値に相当し、分布パラメータの特異値が分布の信頼度を反映できることを考慮すると、次のようになります。尤度項が非ゼロの場合、事後推定比はより集中しており、尤度関数が優先するモードにすぐに収束するため、学習が容易になると結論付けています。

事前確率法に加えて、もう 1 つの主要なベンチマーク法は、インバース キネマティクス (IK) を使用して、ボーンの向きを通じて回転を直接計算することです。次の図は、事後確率を直感的に示すことができます。確率的 IK 手法と決定的 IK 手法の比較。

#上の図は、人間の肘関節を例にしています。実三次元座標軸は真値を表し、透明三次元座標軸は推定値を表す。最初の行は決定論的 IK 法を表します。このタイプの方法の背後にあるモデリング手法は、骨の方向を表すベクトルです。骨の方向が正確に推定されると、残りの 1 自由度 (ねじれ) は円に縮小できます (図 (ボール上の点線の円); 骨の向きが不正確に推定されると、考えられるすべての推定値が真の値から外れてしまいます。 2行目は複数の異なるタイプのモデルを融合した本研究の事後確率モデルを表しており、球上の赤い部分はある回転の確率を表している 骨の向きの推定に誤差があっても骨の方向のノイズは先験的または他の観察によって可能な限り軽減できるため、このメソッドはそれを真の状態の値に戻すことができます。 アニメーション制作効率80%アップ!ワンクリックで高精度なビデオモーションキャプチャを実現するAIソフトウェア

#ネットワーク フレームワーク図と損失関数

前述の理論と導出に基づいて、次の図を直接表すことができます。構築されたフレーム図。マルチブランチ ネットワークを使用して、単一の画像から事前分布パラメータ F、3 次元キーポイント J (骨の向き d の計算元)、および形状パラメータ β を推定します。事後確率はベイズ則によって計算され、最終的に事後分布から姿勢推定値を取得して人間メッシュを出力します。

#損失関数の選択は比較的簡単で、次の 4 つの制約の加重和になります。ここで、L_J はキー ポイント制約を表し、L_β はキー ポイント制約を表します。は形状パラメータ制約を表し、L_θは行列形式の姿勢パラメータ制約を表し、L_sは分布をサンプリングした後の姿勢パラメータ制約を表します。分布の制約に関しては、正規化パラメータの数値安定性を考慮するため、ここでは MAP を直接使用しません。サンプリング戦略に関しては、以前の研究と同様に、行列フィッシャー分布が四元数形式の等価ビンガム分布に変換され、その後、拒否サンプリングを通じて取得されます。拒否サンプリングに推奨される分布は、角中心ガウス分布を採用します。

アニメーション制作効率80%アップ!ワンクリックで高精度なビデオモーションキャプチャを実現するAIソフトウェア

実験結果

実験部分では、この研究は公開データセットHuman3.6M、3DPW、AGORA、そしてトータルキャプチャ。この研究の方法は、これまでの多くの方法を上回っていることがわかります。右下の表の最後の 2 つの灰色の行は、同じ時期の作品であり、リストを完全にするためにここにリストされています。

アニメーション制作効率80%アップ!ワンクリックで高精度なビデオモーションキャプチャを実現するAIソフトウェア

アニメーション制作効率80%アップ!ワンクリックで高精度なビデオモーションキャプチャを実現するAIソフトウェア

#次の図は、既存の SOTA の定性的比較を示しています。 HybrIK、PARE、および CLIFF メソッドは、一部のオクルージョン状況では ProPose がより良い結果を達成できることを示しています。

アニメーション制作効率80%アップ!ワンクリックで高精度なビデオモーションキャプチャを実現するAIソフトウェア

次の表は、主に ProPose の精度と堅牢性を実証する一連のアブレーション実験を示しています。ベンチマーク方法には、3 次元のキー ポイントを使用しない、事前分布を使用しない、テスト中に事前分布を使用しない、バックボーン ネットワーク内の異なる場所にある特徴を選択するなどが含まれます。下の左側の表は、提案された事後確率分布がより高いことを完全に検証しています。正確さ。下右の表は事後法と決定論的 IK 法のノイズに対する耐性を比較したもので、事後法の方がノイズの干渉に強いことがわかります。

アニメーション制作効率80%アップ!ワンクリックで高精度なビデオモーションキャプチャを実現するAIソフトウェア

アニメーション制作効率80%アップ!ワンクリックで高精度なビデオモーションキャプチャを実現するAIソフトウェア

上記の hmr タスクに加えて、この研究ではマルチタスクにも焦点を当てています。 -センサーフュージョンタスク 上記について評価を実施し、シングルビューとIMUフュージョンの効果を以下に示します。

以上がアニメーション制作効率80%アップ!ワンクリックで高精度なビデオモーションキャプチャを実現するAIソフトウェアの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は51CTO.COMで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
ai合并图层的快捷键是什么ai合并图层的快捷键是什么Jan 07, 2021 am 10:59 AM

ai合并图层的快捷键是“Ctrl+Shift+E”,它的作用是把目前所有处在显示状态的图层合并,在隐藏状态的图层则不作变动。也可以选中要合并的图层,在菜单栏中依次点击“窗口”-“路径查找器”,点击“合并”按钮。

ai橡皮擦擦不掉东西怎么办ai橡皮擦擦不掉东西怎么办Jan 13, 2021 am 10:23 AM

ai橡皮擦擦不掉东西是因为AI是矢量图软件,用橡皮擦不能擦位图的,其解决办法就是用蒙板工具以及钢笔勾好路径再建立蒙板即可实现擦掉东西。

谷歌超强AI超算碾压英伟达A100!TPU v4性能提升10倍,细节首次公开谷歌超强AI超算碾压英伟达A100!TPU v4性能提升10倍,细节首次公开Apr 07, 2023 pm 02:54 PM

虽然谷歌早在2020年,就在自家的数据中心上部署了当时最强的AI芯片——TPU v4。但直到今年的4月4日,谷歌才首次公布了这台AI超算的技术细节。论文地址:https://arxiv.org/abs/2304.01433相比于TPU v3,TPU v4的性能要高出2.1倍,而在整合4096个芯片之后,超算的性能更是提升了10倍。另外,谷歌还声称,自家芯片要比英伟达A100更快、更节能。与A100对打,速度快1.7倍论文中,谷歌表示,对于规模相当的系统,TPU v4可以提供比英伟达A100强1.

ai可以转成psd格式吗ai可以转成psd格式吗Feb 22, 2023 pm 05:56 PM

ai可以转成psd格式。转换方法:1、打开Adobe Illustrator软件,依次点击顶部菜单栏的“文件”-“打开”,选择所需的ai文件;2、点击右侧功能面板中的“图层”,点击三杠图标,在弹出的选项中选择“释放到图层(顺序)”;3、依次点击顶部菜单栏的“文件”-“导出”-“导出为”;4、在弹出的“导出”对话框中,将“保存类型”设置为“PSD格式”,点击“导出”即可;

GPT-4的研究路径没有前途?Yann LeCun给自回归判了死刑GPT-4的研究路径没有前途?Yann LeCun给自回归判了死刑Apr 04, 2023 am 11:55 AM

Yann LeCun 这个观点的确有些大胆。 「从现在起 5 年内,没有哪个头脑正常的人会使用自回归模型。」最近,图灵奖得主 Yann LeCun 给一场辩论做了个特别的开场。而他口中的自回归,正是当前爆红的 GPT 家族模型所依赖的学习范式。当然,被 Yann LeCun 指出问题的不只是自回归模型。在他看来,当前整个的机器学习领域都面临巨大挑战。这场辩论的主题为「Do large language models need sensory grounding for meaning and u

ai顶部属性栏不见了怎么办ai顶部属性栏不见了怎么办Feb 22, 2023 pm 05:27 PM

ai顶部属性栏不见了的解决办法:1、开启Ai新建画布,进入绘图页面;2、在Ai顶部菜单栏中点击“窗口”;3、在系统弹出的窗口菜单页面中点击“控制”,然后开启“控制”窗口即可显示出属性栏。

ai移动不了东西了怎么办ai移动不了东西了怎么办Mar 07, 2023 am 10:03 AM

ai移动不了东西的解决办法:1、打开ai软件,打开空白文档;2、选择矩形工具,在文档中绘制矩形;3、点击选择工具,移动文档中的矩形;4、点击图层按钮,弹出图层面板对话框,解锁图层;5、点击选择工具,移动矩形即可。

强化学习再登Nature封面,自动驾驶安全验证新范式大幅减少测试里程强化学习再登Nature封面,自动驾驶安全验证新范式大幅减少测试里程Mar 31, 2023 pm 10:38 PM

引入密集强化学习,用 AI 验证 AI。 自动驾驶汽车 (AV) 技术的快速发展,使得我们正处于交通革命的风口浪尖,其规模是自一个世纪前汽车问世以来从未见过的。自动驾驶技术具有显着提高交通安全性、机动性和可持续性的潜力,因此引起了工业界、政府机构、专业组织和学术机构的共同关注。过去 20 年里,自动驾驶汽车的发展取得了长足的进步,尤其是随着深度学习的出现更是如此。到 2015 年,开始有公司宣布他们将在 2020 之前量产 AV。不过到目前为止,并且没有 level 4 级别的 AV 可以在市场

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

DVWA

DVWA

Damn Vulnerable Web App (DVWA) は、非常に脆弱な PHP/MySQL Web アプリケーションです。その主な目的は、セキュリティ専門家が法的環境でスキルとツールをテストするのに役立ち、Web 開発者が Web アプリケーションを保護するプロセスをより深く理解できるようにし、教師/生徒が教室環境で Web アプリケーションを教え/学習できるようにすることです。安全。 DVWA の目標は、シンプルでわかりやすいインターフェイスを通じて、さまざまな難易度で最も一般的な Web 脆弱性のいくつかを実践することです。このソフトウェアは、

SecLists

SecLists

SecLists は、セキュリティ テスターの究極の相棒です。これは、セキュリティ評価中に頻繁に使用されるさまざまな種類のリストを 1 か所にまとめたものです。 SecLists は、セキュリティ テスターが必要とする可能性のあるすべてのリストを便利に提供することで、セキュリティ テストをより効率的かつ生産的にするのに役立ちます。リストの種類には、ユーザー名、パスワード、URL、ファジング ペイロード、機密データ パターン、Web シェルなどが含まれます。テスターはこのリポジトリを新しいテスト マシンにプルするだけで、必要なあらゆる種類のリストにアクセスできるようになります。

AtomエディタMac版ダウンロード

AtomエディタMac版ダウンロード

最も人気のあるオープンソースエディター

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強力な PHP 統合開発環境