デビッドが復活した！ NVIDIAが「Neural Langelo」を再現、肉眼で見える筋肉の質感を3D再構築

本日、NVIDIA は 16 世紀のミケランジェロの「ニューラランジェロ」を再現しました。

ほら、ニューラランジェロは、本物そっくりの大理石のディテールと質感を備えた有名なダビデ像の 3D バージョンを「再現」しました。

ご存じのとおり、フィレンツェ美術アカデミーに収集されたダビデ像の高さはわずか 3.96 メートルです。ベースは5.5メートルあります。

建物の内外の構造を、屋根瓦やガラスなど細部まで一つ一つ再現して再現することも可能です。

これらはすべて「ニューラランジェロ」の魔法です。

NVIDIA とジョンズ ホプキンス大学の研究者によって提案された新しい AI モデルは、ニューラル ネットワークを使用して 3D オブジェクトを再構築します。

最新の研究が CVPR 2023 に採択されました。

#論文アドレス: https://research.nvidia.com/labs/dir/neuralangelo/paper.pdf

特に、Neuralangelo は、携帯電話のビデオやドローンで撮影したビデオから「高忠実度の大規模シーン」を再構成できます。

都市や宇宙のビデオを簡単に没入型の世界に変換し、それをゲームに落とし込んで体験できる未来ではないでしょうか?

ネチズンは、NVIDIA が「マトリックス」の世界をハッキングしたと叫びました。

Apple の XR テクノロジーと Neuralangelo を組み合わせることで「新しい世界」を創造できると主張する人もいます。

#効果のデモンストレーション

NVIDIA 本社

古いトラック

#イグナティウスの像

再構成された 3D シーン#以前の AIモデルは、3D シーンを再構築するときに、反復的なテクスチャ パターン、均一な色、および強い色の変化を正確にキャプチャするのに苦労することがよくありました。

この目的を達成するために、チームは、多重解像度 3D ハッシュ グリッドの表現機能とニューラル サーフェス レンダリングを組み合わせた新しい手法 Neuralangelo を提案しました。

昨年、Nvidia の研究者は、写真を簡単に 3D オブジェクトに変換できる新しいツール 3D MoMa を作成しました。

NeuralAngelo はこの概念に基づいて構築されており、より大きく、より詳細な空間やオブジェクトのインポートを可能にします。これの特別な点は、繰り返しのテクスチャ パターン、均一な色、および強い色の変化を正確にキャプチャできることです。

NVIDIA の Instant NeRF テクノロジの中核である「リアルタイム ニューログラフィック プリミティブ」を使用することで、Neuralangelo はより詳細な詳細をキャプチャできます。

チームのアプローチは 2 つの重要な要素に依存しています:

(1) 平滑化操作として高次導関数を計算するための数値勾配;

(2) さまざまな詳細レベルを制御するハッシュ グリッドに対して、粗い最適化から細かい最適化まで実行します。

Neuralangelo は、追加の深度がなくても、以前の方法を大幅に上回る忠実度でマルチビュー画像から高密度の 3D 表面構造を効果的に復元し、RGB ビデオからのデータの抽出を可能にします。緻密な大規模シーン。

NeuralAngelo の構築

NeuralAngelo モデルは、マルチ解像度ハッシュ エンコーディングと SDF ベースのボリューム レンダリングに基づいて構築されています。

#ステップ 1: 数値勾配を使用して高次導関数を計算する

## ハッシュ グリッドの空間解像度に一致するステップの数値勾配を使用することで、ローカル セルを超えて最適化することが可能です。解析勾配と比較して、数値勾配は SDF で平滑化操作を行います。

#ステップ 2: 詳細レベルを段階的に調整する

数値勾配のステップ サイズを徐々に減らし、より高解像度のハッシュ グリッドを有効にすることで、最適化効果により、広い領域の滑らかなサーフェスと微細な幾何学的詳細をより適切に復元できます。この学習プロセスにより、詳細レベルが徐々に向上します。

#ステップ 3: 最適化 NeuralAngelo は 3 つの最適化目標を使用します:

#RGB 合成損失

##: 入力画像と合成画像間の RGB 再構成損失。

Eikonal loss

: 基礎となる SDF を正規化して、その表面法線が単位規則性になるようにします。

曲率損失

: 平均曲率が恣意的に大きくならないように、基礎となる SDF を正規化します。 。

「ニューロランジェロ」は構築されましたが、どのように機能するのでしょうか?

##ニューラランジェロは、ミケランジェロがダビデを描いたプロセス全体を復元したと言えます。 #· まず、モデルはさまざまな角度から撮影されたオブジェクト/シーンの 2D ビデオからいくつかのフレームを選択し、その深さ、サイズ、形状を「確認」します。このプロセスは、彫刻アーティストが最初に複数の角度から作品を構成する方法に似ています。

· 次に、アーティストが被写体の形状を彫刻し始めるのと同じように、モデルはシーンの大まかな 3D 表現を作成します。

· 最後に、アーティストが布地の質感や人の形を模倣するためにテクスチャを細心の注意を払って装飾するのと同じように、モデルは詳細をより明確にレンダリングするために改良されます。

DPU ベンチマークの定性的比較では、Neuralangelo はより正確で忠実度の高いサーフェスを生成します。

DTU データセットにおける Neuralangelo の定量的な結果は次のとおりです。このモデルは良好な再構成精度と画像合成品質を達成しました。

#さまざまな粗い最適化スキームから細かい最適化スキームへの定性的比較において、分析勾配 AG および AG P を使用すると、物体の粗い表面。

デジタル グラデーション (NG) を使用すると、より良い粗い表面が再構築され、細部が滑らかになります。

NVIDIA のソリューション (NG P) は、滑らかな表面と微細なディテールを生成できます。

最終結果は、仮想現実アプリケーション、デジタル ツイン、ロボット工学で使用できる 3D オブジェクトまたは大きなオブジェクトです。開発規模のシナリオ。

Nvidia は、屋根瓦の粗さや大理石の滑らかさを含む複雑なマテリアルのテクスチャを 2D ビデオから 3D オブジェクトに変換する Neuralangelo の能力は、これまでの取り組みを大幅に上回っていると述べました。

Nvidia Research のシニア ディレクターで論文の著者である Ming-Yu Liu は、この研究の重要性について次のように述べています。 「Neuralangelo が提供する 3D 再構成機能は、クリエイターにとって大きなメリットとなり、デジタル世界内で現実世界を再現するのに役立ちます。最終的には、このツールを使用すると、開発者は小さな彫像であれ、大きな建物であれ、詳細なオブジェクトをビデオにインポートできるようになります。

クリエイティブな専門家は、これらの 3D オブジェクトをデザイン アプリケーションにインポートして、アート、ビデオ ゲーム開発、ロボット工学、産業分野で使用するためにさらに編集することができます。

著者紹介

Zhaoshuo Li

Li Zhaoshuo は現在、ジョンズ ホプキンス大学でコンピュータ サイエンスの博士課程の学生で、指導教官は Mathias Unberath 教授と Russell H Taylor 教授です。

彼はコンピュータ ビジョン、コンピュータ グラフィックス、ディープラーニングに強い関心を持っており、画像から動きや構造を再現することに重点を置いた研究を行っています。

さらに、彼にはビデオ撮影者、メンタルヘルスの推進者、愛犬家、サーファー、スカイダイバー、スノーボーダーなど、多くの趣味もあります...

チェン・シュアン・リン

##チェン・シュアン・リンはNVIDIA Research の研究科学者で、コンピューター ビジョン、コンピューター グラフィックス、人工知能の分野で働いています。

彼はカーネギー メロン大学でロボット工学の博士号を取得し、NVIDIA 大学院フェローシップを受賞しました。以前は Facebook AI Research と Adob​​e Research でインターンをしていました。

Lin は、3D 再構成、ビュー合成、3D コンテンツ制作の問題の解決に非常に興味を持っています。その研究の目的は、インターネット スケールの視覚データから学習することで、人工知能システムに人間レベルの 3D 知覚と想像力を与え、真の 3D 空間知能を実現することです。

ネチズンからの熱いコメント

NVIDIA の科学者ジム ファン氏は次のように述べています。

人工知能の開発を理解してもらうために、 3D モデリングのインテリジェンス スピード: この分野は 3 年間で左 (オリジナルの NeRF 再構成メッシュ) から右 (Nvidia の Neuralangelo) に変わりました。

現実を忠実度の高いシミュレーションに移すことは、もはや夢ではありません。

新しい Neuralangelo モデルは野獣であり、Nvidia は当社の写真測量ソフトウェア、安らかに廃止することを決定しました。

デジタル世界の「ミケランジェロ」のようなものです。

一部のネチズンは、使用にどれくらいの費用がかかるかを知りたいと表明しました。

工場でドローンを使用し、このモデルにビデオを送信してデジタル ツインを作成し、それを使用してプロセスを最適化できます。

このテクノロジーの重要性について、ネチズンはゲーム業界への影響が大きいと信じています。

以上がデビッドが復活した！ NVIDIAが「Neural Langelo」を再現、肉眼で見える筋肉の質感を3D再構築の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。