大衛復活！英偉達再造「神經朗基羅」，3D重建肌肉紋理肉眼可見

今天，英偉達再造了16世紀的米開朗基羅「Neuralangelo」。

快看，Neuralangelo「復刻」出3D版的著名雕像大衛，大理石的細節、紋理栩栩如生。

要知道，收藏在佛羅倫斯美術學院的大衛雕像，僅身高3.96米，加上基座都有5.5米。

它甚至可以重建一棟建築物的內部和外部結構，屋頂瓦片、玻璃窗格、還有各種細節都一再出現。

這一切，都是「神經朗基羅」（Neuralangelo）的魔法。

來自英偉達和約翰霍普金斯大學的研究人員提出的新型AI模型，利用神經網路重建3D物件。

最新研究已被CVPR 2023錄取。

論文地址：https://research.nvidia.com/labs/dir/neuralangelo/paper.pdf

#特別是，Neuralangelo可以從手機視頻，無人機拍攝的視頻重建「高保真的大規模場景」。

那豈不是未來，就能輕易地把一座城市、甚至外太空的視頻，變成一個沉浸式的世界，再裝進遊戲去體驗。

網友驚呼，英偉達黑了「矩陣」世界！

甚至，還有人稱，蘋果XR技術，再加上Neuralangelo，就能創造「new worlds」了。

#效果示範

##英偉達的總部

#破舊的卡車

###Ignatius的雕像############重建3D場景####### ##先前的AI模型在重建3D場景時，往往難以準確捕捉重複的紋理模式、均勻的色彩以及強烈的色彩變化。 ############為此，團隊提出了一個將多重解析度3D雜湊網格的表徵能力和神經表面渲染結合的全新方法－Neuralangelo。 #####################

去年，英伟达研究人员曾创造了一种新工具3D MoMa，将照片变成3D物体易如反掌。

NeuralAngelo建立在这一概念的基础上，允许导入更大、更详细的空间和对象。而它特别之处在于，可以准确捕捉重复的纹理模式、同质的颜色和强烈的颜色变化。

通过采用「即时神经图形基元」，也就是NVIDIA Instant NeRF技术的核心，Neuralangelo由此可以捕捉更细微的细节。

团队的方法依赖于2个关键要素：

（1）用于计算高阶导数作为平滑操作的数值梯度；

（2）在控制不同细节级别的哈希网格上进行由粗到细的优化。

即使没有辅助深度，Neuralangelo也能有效地从多视图图像中恢复密集3D表面结构，其保真度显著超过了以往的方法，使得能够从RGB视频捕捉中重建详细的大规模场景。

构建NeuralAngelo

NeuralAngelo模型是在多分辨率哈希编码，以及基于SDF的体积渲染上进行构建。

第一步：使用数值梯度来计算高阶导数

通过使用与哈希网格空间分辨率匹配的步长的数值梯度，可以优化超越局部单元。与解析梯度相比，数值梯度对SDF起到了平滑操作的作用。

第二步：逐步细化细节层次

通过逐步减小数值梯度的步长，并启用更高分辨率的哈希网格，优化的效果可以更好地恢复大面积的光滑表面和精细的几何细节。这种学习过程能够逐步提高细节的层次感。

第三步：优化

NeuralAngelo使用三个优化目标：

RGB合成损失

：输入图像和合成图像之间的RGB重建损失。

Eikonal损失

：对底层SDF进行正则化处理，使其表面法线为单位正则。

曲率损失

：对底层SDF进行正则化处理，使平均曲率不会任意变大。

「神經朗基羅」建構好了，那麼它又是如何運作的呢？

可以說，Neuralangelo還原了米開朗基羅刻畫大衛的整個過程：

· 首先，模型會從2D影片中選擇幾幀從不同角度拍攝的物件/場景的畫面，並由此「看到」其深度、大小和形狀。這個過程就像雕塑藝術家一開始會從多個角度構圖那樣。

· 然後，模型會創造一個粗糙的3D場景表徵，就像藝術家開始鑿刻主體的形狀。

· 最後，模型會優化渲染以提高細節的清晰度，就像藝術家透過精心修飾來模仿織物或人形的紋理。

在DPU基準定性比較中， Neuralangelo產生更準確和更高保真度的表面。

如下是Neuralangelo在DTU資料集中的定量結果，模型獲得了很好的重建精度和影像合成品質。

在不同的從粗糙到精細優化方案定性比較中，當使用分析梯度AG和AG P，物體粗糙表面還有偽影。

當使用數位梯度（NG）時，能夠重建一個比較好的粗糙表面，細節也被平滑。

而英偉達的解決方案（NG P）能夠產生光滑的表面，以及精細的細節。

最終的結果是一個可以在虛擬實境應用、數位孿生或機器人開發中使用的3D物件或大規模場景。

英偉達表示，Neuralangelo將複雜材料的紋理，包括屋頂瓦片的粗糙度、大理石的光滑度，從2D視頻轉化為3D物體的能力，顯著超越了以往的方法。

英偉達研究部資深主任、論文作者Ming-Yu Liu對這項研究的意義給出了暢想：

「Neuralangelo提供的3D重建能力將為創作者帶來巨大好處，幫助他們在數位世界中重建真實世界。這個工具最終將使開發人員能夠將精細的物體——不論是小型雕像，還是大型建築——導入電玩遊戲或工業數位孿生的虛擬環境中。

創意的專業人士可以將這些3D物件導入到設計應用中，進一步編輯，以供藝術、電子遊戲開發、機器人技術和工業數位孿生等領域使用。

作者介紹

Zhaoshuo Li（李趙碩）

李趙碩目前還是約翰霍普金斯大學的電腦科學博士生，導師是Mathias Unberath教授、Russell H Taylor教授。

他對電腦視覺、電腦圖形學、深度學習有濃厚的興趣，研究重點是從圖像中重現運動和結構。

另外，他還有非常多的嗜好，是攝影師、心理健康促進者、寵物狗的愛好者、還是衝浪者、跳傘者、滑雪板運動員…

Chen-Hsuan Lin

Chen-Hsuan Lin是NVIDIA Research的研究科學家，從事電腦視覺、電腦圖形學和人工智慧方面的工作。

他在卡內基美隆大學獲得了機器人學博士學位，並獲得英偉達研究生獎學金。此前，他也曾在Facebook AI Research和Adobe Research實習。

Lin對解決3D重建、視圖合成和3D內容生產的問題非常感興趣。其研究旨在透過從網路規模的視覺數據中學習，賦予人工智慧系統人類水平的3D感知和想像能力，朝向真正的3D空間智慧邁進。

網友熱評

英偉達科學家Jim Fan表示，

為了讓你了解3D建模的人工智慧發展速度：該領域在3年內從左邊（原始的NeRF重建的網格）到右邊（英偉達的Neuralangelo）。

將現實傳送到高保真模擬中不再是個夢想。

新的Neuralangelo模型簡直是野獸，英偉達決定淘汰我們，R.I.P.攝影測量軟體。

簡直就像是數字世界的「米開朗基羅」。

還有網友表示想知道，用它的成本是多少？

我們可以在工廠使用無人機，然後將影片發送到這個模型，做一個數位孿生，並使用它來優化我們的流程。

對於這項技術的意義，網友認為這對遊戲產業影響將是巨大的。

以上是大衛復活！英偉達再造「神經朗基羅」，3D重建肌肉紋理肉眼可見的詳細內容。更多資訊請關注PHP中文網其他相關文章！