Unity Greater China プラットフォーム テクニカル ディレクター、Yang Dong 氏: メタバースでのデジタル ヒューマン ジャーニーの開始

メタバースのコンテンツ構築の基礎として、デジタル人材は実装可能なメタバース細分化の最も初期に成熟したシナリオです。現在、バーチャルアイドル、電子商取引配信、テレビホスティング、バーチャルアンカーなどの商用アプリケーションが広く認知されています。メタバースの世界で最も核となるコンテンツの 1 つはデジタル ヒューマンに他なりません。デジタル ヒューマンは、メタバースにおける現実世界の人間の「化身」であるだけでなく、私たちにとって重要な手段の 1 つでもあるからです。メタバース内でさまざまなインタラクションを実行します。

リアルなデジタル ヒューマン キャラクターの作成とレンダリングは、コンピューター グラフィックスにおいて最も困難な問題の 1 つであることはよく知られています。最近、51CTO が主催する MetaCon メタバース テクノロジー カンファレンスの「ゲームと AI インタラクション」サブ会場で、Unity Greater China プラットフォーム テクノロジー ディレクターの Yang Dong 氏が「Unity デジタル ヒューマン テクノロジー - への旅の開始」で一連のデモを行いました。 the Metaverse』ではUnity HDレンダリングパイプライン技術の話題共有が詳しく紹介されています。

1. Unity の概要

Unity は現在、このスコープは、世界で最も多くのコンピューティング プラットフォームをサポートしており、現在では、PC、Mac、Linux、iOS、Android、Switch、PlayStation、Xbox、すべての AR/VR、MMAT、その他のデバイスを含む 30 近くのコンピューティング プラットフォームをサポートしています。 3 次元のインタラクティブ コンテンツを作成している場合、現時点では Unity が最良の選択です。独立したグラフィックス カードを搭載した一部のマシンでは、高精細度コンテンツのレンダリングに高精細度レンダリングが使用されていることが知られており、いわゆるリアルなデジタル ヒューマン技術は現在、高精細度レンダリング技術に依存しています。

現在、Unity China チームには 300 人を超えるフルタイムの従業員がおり、世界中に約 7,000 人の従業員がおり、そのうち 70% 以上がエンジニアです。本社は上海にあり、北京と広州にオフィスがあり、対応する従業員がそこで働いています。

#2. Unity エンジンの強力な側面は何ですか?

現時点では、Unity は Kaiyuan エンジンではありませんが、そのモジュールは高度にカスタマイズ可能です。

この図は、Unity で現在サポートされているプラ​​ットフォームを示しています。最も一般的なプラットフォームの一部は、これらのアイコンで見つけることができます。これらは近年最も人気のあるゲームの一部であり、Honor of Kings、CALL DUTY、League of Legends、Genshin Impact、Fall Bean Man、Shining Nuan Nuan など、比較的よく知られているアイコンもあります。実際、国内外の Android および iOS リストで最も収益性の高いゲームの上位 1,000 件の 70% 以上が Unity によって作成されています。スイッチゲームの半分以上は Unity によって制作されています。高解像度で一見非常に複雑に見えるゲーム、そして Xbox で最初に発売されたヒット ゲームが 1 人の人間によって開発されたとは信じられないかもしれませんが、これは Unity エンジンの柔軟性とツール チェーンのパワーを十分に実証しています。

Unity はハイパフォーマンスを目指して開発を進めていますが、C#Job System、ECS、Burst Compiler という 3 つの主要なドット システム コンポーネントについて説明します。実際、C#Job System を使用すると、開発されたゲームやアプリケーションが統合 CPU の同時計算能力を最大限に活用できるようになります。これは、現在のオブジェクト指向プログラミング モデルがメイン スレッドで実行されるプロダクション コンテンツであるためです。 2 つ目は Entity Component System (ECS) で、Entity Component System を介してデータをシステム (ゲーム ロジック) から分離できるため、保守が容易になり、メモリの使用も容易になります。 Burst Compiler は、ターゲット プラットフォーム用のより高性能なマシン コードを生成できます。

一方で、高画質であることもUnityの非常に優れた特徴です。美しい映像を表現するには高価な PC や高価な Xbox や Playstation マシンを使用する必要があると言うだけでは、実際にはゲームの汎用性が低すぎます。 Unity は、いわゆる可変レンダリング パイプラインである XRP を使用して、誰もがすぐに使える 2 つのセットのレンダリング パイプラインを作成します。 1 つはユニバーサル レンダリング パイプライン URP、もう 1 つは HDRP (高解像度レンダリング)パイプライン) 。名前が示すように、URP のいわゆるユニバーサル レンダリング パイプラインはすべてのプラットフォームでサポートされており、VR ゲーム、AR ゲーム、モバイル ゲームのいずれを開発している場合でも、URP をレンダリング作業に使用できます。 HDRP は、リアルタイム レイ トレーシングもサポートする PC mac Linux、Xbox1、および Basestation4 以降のプラットフォームを指します。

3. 高解像度レンダリング パイプラインはどのようにしてデジタル ヒューマンの高品質なレンダリングを実現するのですか?

「異教徒」デジタルマンは、実際には Unity によって作成された最初のデジタルマンではありませんが、「異端者」デジタルマンには独自の独自性があります。本物そっくりで、完全なワークフローを形成します。 「Infidel」のような高品質なレンダリングを実現するには、高解像度のレンダリング パイプラインが不可欠です。

「The Infidel」のデジタル人物は、実際にはプロトタイプを持っています。彼はロンドンのイギリスの演劇俳優で、ジャックという名前です。彼のデータをスキャンすることで、これが彼の全身データです。重要なポイントは、頭部データをスキャンして、デジタル人間全体を作成することです。表現は非常に本物そっくりです。表情アニメーションの作成には 4D ボリューム ビデオ技術が使用されています。実際、この技術は非常に本物のような表現を作成するために使用できますが、 , しかし、リアルタイムで駆動できないという欠点もあり、映画やテレビのキャラクター表現をアニメーション化するのに問題なく使用できますが、リアルタイムで駆動することはできません。

## 成功したケースでは、目のレンダリングと肌のレンダリングを確認できます。それぞれを見てください。

スキンの品質を向上させるために、以下の技術が追加されました。 Detail Map は詳細マップです。セカンダリ スペキュラ ローブは 2 番目のレイヤーのハイライトであり、キャビティ スペキュラ オクルージョンはハイライトをブロックする可能性があるくぼみを指し、スクリーン スペース サブサーフェス スキャタリングはスクリーン スペースのサブサーフェス スキャタリングを指します。

最初の詳細マップは、主に皮膚表面の詳細などのテクスチャをシミュレートするために使用され、このテクスチャは大きくなく、1K テクスチャです。

ハイライトの 2 番目のレイヤーであるセカンダリ スペキュラー ローブは、皮膚の表面の油層をシミュレートするために使用されます。皮膚は油分を生成し、乾燥しているように見えるため、この方法は次のようになります。ハイライトの 2 番目のレイヤーを追加するために必要です。

3 つ目は、くぼんだハイライトです。くぼんだ領域の中央のハイライトをカバーするために使用されます。 2 層目のハイライトを追加すると、肌のくぼんだ部分にもハイライトが表示されますが、これは明らかに現実的ではありません。くぼんだ部分にハイライトが表示されないようにハイライトをマスクする必要があります。

4 つ目は、スクリーン空間での表面下散乱です。これは、スキン自体の効果を作成するために使用されます。皮膚そのものには、いわゆる３Ｓ効果、いわゆる表面散乱効果があることがわかっています。スキンでは明らかにサブサーフェス スキャッタリングを使用する必要がありますが、従来、MAYA や 3Dmax などのオフライン レンダリング ソフトウェアを使用してこのスキンをシミュレートする場合、サブサーフェス スキャッタリングのエフェクトをレンダリングするのに非常に時間がかかりました。 Unity では、実際には、表面下散乱効果をレンダリングするための 2 つの手法があります。 1 つ目はスクリーン スペース サブサーフェス スキャタリング テクノロジーで、レンダリングが高速になります。2 つ目は光飛行によるもので、明らかに光飛行法の方が現実的です。

このキャラクターは、短編映画「ねじまき音楽家」の少女のキャラクターです。この少女のキャラクターも、画面空間の表面下散乱効果を使用しています。右側の葉は実際にサブサーフェス スキャタリングのエフェクトを使用しています。

次に、目のレンダリングについて説明します。実際、目は非常に複雑なオブジェクトであり、多くの部分で構成されています。リアルタイム レンダリングで実際の眼球をシミュレートすることにより、角膜、瞳孔、虹彩、強膜の 4 つの部分をシミュレートするだけで、非常にリアルな効果を実現できます。

写真のように、私たちの眼球自体は非常に複雑な物体であり、正面や横から見ると、実際には違いがあり、特に虹彩の遠近屈折現象が異なりますが、普通にレンダリングすると、この絵は GDC で非常に有名なデジタル ヒューマン キャラクターになります。

デジタル人間の眼球は、実際の眼球の形状に従って実際にモデル化されており、眼球のさまざまなパラメータを表す特別なペインタがいくつかあります。その反射、強膜と虹彩の法線マップ、さまざまな法線値を適用することで達成できるエフェクト、さらにはまぶたのオクルージョンを含め、別のコントローラーで制御できるため、まぶたのエフェクトを制御できます。 。

要約すると、表現は、実際の人物のスキャン データを使用して、ブレンド シェイプ、リンクル マップ、カラー マップ、フェイシャル リギングを通じて作成され、コントローラーを使用して表現を制御します。もちろん、この表現を駆動する方法は他にもたくさんあることはわかっていますが、実際、肌、目、髪の毛をレンダリングする場合は比較的簡単ですが、表現の駆動は実際には非常に難しい点です。

開発者が、なぜ自分たちが使用している Unity では Unity が生み出すことができる効果を生み出すことができないのかと言うのをよく聞きます。 Unity が提供するデモのエフェクトは、多くの人々が多大な労力をかけて作成したものであり、使用されている技術は、実際には彼らが作成したバージョンではまだ利用できませんでした。次のバージョンに統合すると、最終的には誰もが使用できる機能的なバージョンが形成されます。

#4. デジタル ヒューマンの作成プロセスは何ですか?

「The Infidel」を終えた後、Unity China チームは実際に独自のデジタル ヒューマンを作成し、座り姿勢の 4D スキャンなど「The Infidel」のテクノロジーを応用しました。 、などの技術。

これは実際のプロジェクトであり、プロセスは実際には「Infidel」とまったく同じです。これには、データのクリーニング、対応するブレンド シェイプの作成、リンクル マップの作成、リグの作成、エクスプレッションの駆動が含まれます。ASSETStore のコントローラーは、アニメーション クリップと BlendShape を使用してエクスプレッション アニメーションを表示します。もちろん、実際には、Market を使用して追跡する、ARKit を使用して追跡する、画像データを使用して運転するなど、顔をキャプチャする方法は他にもあります。

実際の開発では、カメラで表情を撮影して人間の頭の表情をテストすることもありますが、画像データを利用して駆動する方法もあります。非常に大きな違いの 1 つは、彼女が長く流れる髪を持っていることです。この長く流れる髪は、Unity China チームによって開発されたソリューションです。URP と HDRP に適しており、一般的なレンダリング パイプラインと高品質のレンダリング パイプラインの両方に適しています。髪。髪のレンダリングは従来のプラグイン方式とは大きく異なり、非常にスムーズで、ヘッド アンド ショルダーの広告の効果のようにさえ感じられます。式は実際には AR cade を通じてリアルタイムで駆動され、もちろん AR cade は式の駆動に使用されます。

Unity には Emma と呼ばれるデジタル ヒューマンがあります。このデジタル ヒューマンの表現は、完全に Ziva Dynamics テクノロジーによって動的に駆動されます。コア テクノロジーは、実際には、モデルまたは生物学的皮膚の下でこれらの筋肉グループをシミュレートすることです。は、恐竜の実際の体の筋肉の動きをシミュレートできるだけでなく、この技術をデジタル人間の非常にリアルな表情のシミュレーションにも適用できます。従来、モデルは空のシェルであり、外側にシェルがありました。しかし、Ziva Dynamics のテクノロジーでは、実際には背中に本物の解剖学的筋肉があります。これらの筋肉がリアルに動かされると、外側のスキンは別の、またはより高いレベルに達することができます。従来のブレンド シェイプやボーン バインド方法よりもリアルな表現が可能です。

今年 3 月、Unity は GDC で「Enemies」の最新デジタル ヒューマンのトレーラーを公開しましたが、このデジタル ヒューマンの表情は非常にリアルです。彼女の髪は、Unity が間もなくリリースする一連のファー レンダリング テクノロジであり、HDRP 高解像度レンダリング パイプラインに適用される一連の髪であることは言及する価値があります。

メタバースとデジタル ピープルについて詳しく知るには、MetaCon メタバース テクノロジ カンファレンスの公式 Web サイトへようこそ。アドレス: https://metacon.51cto.com/

以上がUnity Greater China プラットフォーム テクニカル ディレクター、Yang Dong 氏: メタバースでのデジタル ヒューマン ジャーニーの開始の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。