普林斯頓Infinigen矩陣開啟！ AI造物主100%創造大自然，寫實到爆炸

尼奧發現自己所處的世界並非真實存在，而是被精心設計的模擬現實。

而你，有沒有那麼一瞬間，認為我們所處的世界，就是模擬的矩陣世界。

而現在，矩陣正式開啟。

靜心感受，這個人類生存已久的地球，大自然的一切，都是虛幻世界。

北極冰川太陽升起。海底世界中的千奇百怪的魚群、五彩斑斕的珊瑚礁。

高山飛雪，老鷹在浩瀚無垠的天空中翱翔。熾熱沙漠，兇險的蛇自由穿梭。

河邊小樹，燃起熊熊烈火，煙霧繚繞。

清澈見底的大海和小溪，海龜在沙灘慵懶地曬著太陽，許多蜻蜓在空中嬉戲。

岩洞中光與影的變化。

嘩嘩啦墜落的雨滴、隨風飄落的楓葉，時間瞬間戛然而止。

你所見皆是人工智慧設計的。它們的模擬是如此逼真，甚至被所有人誤認為現實本身。

打開這扇矩陣大門的團隊來自普林斯頓，研究一出瞬間在網路上瞬間引起軒然大波。

網友紛紛表示，原來我們活在矩陣中！

#論文中，研究者引進了一個自然世界的逼真3D場景程式產生器「Infinigen」。

Infinigen完全是程式化的，從形狀到紋理，都是透過隨機的數學規則從頭開始產生。

甚至，還能變換無窮，覆蓋了大自然的植物、動物、地形，還有火、雲、雨和雪等自然現象。

最新論文已被CVPR 2023接收。

論文網址：https://arxiv.org/pdf/2306.09310.pdf

#

Infinigen建立在免費且開源的圖形工具Blender上，同樣Infinigen也是開源的。

值得一提的是，3.5小時就能產生一對1080p的圖片！

#無限CV資料產生器

普林斯頓大學提出的Infinigen可以輕鬆定制，產生各種特定任務的真實情況。

如下，模擬大自然中的多樣性。

而它最主要的作用就在於，能夠作為無限訓練資料的生成器，用於廣泛的電腦視覺任務。

其中，包括 目標偵測、語意分割、姿態估計、3D重建、視圖合成和視訊產生。

此外，也可以用來建構訓練實體機器人，以及虛擬具身智能體的模擬環境。

當然了，3D列印、遊戲開發、虛擬實境、電影製作和一般的內容創作都可用。

接下來，看看Infinigen系統是如何被設計出來的。

Blender的預覽。

研究人員主要使用Blender開發程式化規則，Blender是一個開源的三維建模軟體，提供各種基元和實用工具。

Blender將場景表現為擺放物件的層次結構。

而使用者透過轉換物件、新增基底元和編輯網格來修改這項表示。

Blender提供了大多數常見3D檔案格式的匯入/匯出。

最後，Blender中的所有操作都可以透過其Python API自動完成，或透過檢查其開源程式碼。

節點轉譯器。

作為Infinigen的一部分，研究人員開發了一套新的工具來加速研究人員的程式化建模。

一個值得注意的例子是研究人員的節點轉換器，它可以自動將節點圖轉換為Python程式碼，如圖所示。

由此產生的程式碼更為通用，並允許研究人員隨機化圖形結構，而不僅僅是輸入參數。

這個工具讓結點圖更具表現力，並允許與其他直接用Python或C 開發的程式化規則輕鬆整合。

它也允許非程式設計師透過製作節點圖為Infinigen貢獻Python程式碼。

生成器子系統。 Infinigen是由生成器組成的，生成器是機率程序，每個程序都專門用於產生一個子類別的資產（如山或魚）。

每個發生器都有一套高階參數（如山的整體高度），反映了使用者可控制的外部自由度。

在預設情況下，研究人員根據為反映自然界而調整的分佈對這些參數進行隨機抽樣，沒有使用者的輸入。

然而，使用者也可以使用研究人員的Python API覆寫任何參數，以實現對資料產生的細粒度控制。

下圖是隨機的、且僅包含地形的場景。研究人員為各種自然場景類型選擇了13張圖片。

分別為：山脈、上漲的河水、雪山、海岸日出、水下、北極冰山、沙漠、洞穴、峽谷和浮島。

下圖則是隨機產生的模擬火焰的圖片，包括煙霧、瀑布，以及火山爆發的場景。

樹葉、花、蘑菇、松果。

樹木、仙人掌、灌木。

海洋生物。

各種類型的地表。

下圖則是生物的生成。

研究人員自動產生了不同基因組（a）、身體部位（b）、身體部位拼接（c）、毛髮（d）和體態（e）。

圖片右側則是研究人員展示的隨機生成的食肉動物、草食動物、鳥類、甲蟲和魚類。

在下圖中，研究者會依照程式組成一個隨機的場景佈局（a）。

研究者產生所有必要的圖片內容（b，用來顯示每個網格面的顏色），並應用程式化材料和位移（c）。

最後再渲染一個真實的圖像（d）。

下圖展示的是動態解析度縮放。

研究人員展示了三個相機距離不同，但內容相同的特寫網格視覺化視圖。

儘管網格解析度不同，但在最終的圖像中看不到任何變化。

實驗結果

#為了對Infinigen進行評估，研究人員製作了30K的圖像對，這些影像有用於矯正立體匹配的地面實景。

研究人員在這些影像上開始訓練RAFTStereo，並在Middlebury驗證集和測試集上對結果進行了比較。

#這項研究程式碼在今天剛公佈，已經收攬99顆星。

「西方世界」既視感

英偉達科學家Jim Fan表示，當我們在現實中沒有好的訓練資料時，模擬是便下一個「金礦」。

這裡，Infinigen便是一個開源的、程式化生成的、用於3D視覺的逼真資料集。其品質是驚人的！沒有兩個世界是相同的。

▸ 每一個小細節都是隨機且可自訂的，甚至是花瓣上的褶皺！

▸ 自然界的各種物體和場景：植物、動物、地形；火、雲、雨和雪。

▸ 基準真實值自動註解：光流、三維場景流、深度、表面法向量、全景分割、封閉邊界。

▸ 用Blender寫。

有網友表示，這真是讓我大開眼界。在Blender中程式化生成3D世界。不使用AI，就可以創造任何你能想像的世界。

結合像這樣的工具來創造世界，像Daz3D這樣的工具來創造角色，Blockade Labs來創造天空盒，Convai來創造NPC。

也有人表示Infinigen將在人工智慧電腦視覺研究中發揮作用。

他認為未來人工智慧將handle所有一切。

例如，我們想在一個有霧的森林裡面做一個有瀑布的村莊。

我們告訴一個人工智慧寫一個關於森林的詳細描述，再發送到3D世界生成器。

世界生成後，就可以在村莊裡加入人物角色。這些人將由人工智慧控制，他們將有互動、對話和記憶。

一種西方世界的趕腳。

另外，有網友稱程式生成已經存在了20年（我已經做了15年）。 「No Man's SKy」是5年前技術的一個很好的例子。

Infinigen的亮點在於它產生標記資料。這些數據可用於訓練AI。這就很瘋狂。

還有網友暢想，在不遠的將來，遊戲會變得瘋狂…「獨立」遊戲開發者將能夠推出一些瘋狂的高端內容。

Infinigen生成太過逼真，有人認為這是虛幻引擎產生的。

#作者介紹

#Alexander Raistrick

##Alexander Raistrick是普林斯頓大學電腦系的二年級博士生，導師是Jia Deng。

Lahav Lipson

Lahav Lipson是普林斯頓大學三年級博士生。

他研究重點是為三維視覺建立深度網絡，利用關於極線幾何的強大假設來實現更好的泛化和測試準確性。

Zeyu Ma

#Zeyu Ma是普林斯頓大學視覺與學習實驗室的三年級博士研究生。他曾於2020年獲得清華大學電子工程學士學位。目前的研究重點是多視圖3D重建和程序資料產生。

以上是普林斯頓Infinigen矩陣開啟！ AI造物主100%創造大自然，寫實到爆炸的詳細內容。更多資訊請關注PHP中文網其他相關文章！