零AI含量！純隨機數學無限生成逼真3D世界火了，普林斯頓華人一作
- 王林轉載
- 2023-06-20 08:31:52927瀏覽
誰說生成影像、影片一定要靠AI？
普林斯頓大學新出的神器，可無限生成逼真3D世界，特別強調「No AI」。
淺淺感受一下這個效果：
#不要以為生成的只是一段視頻，其實背後是一套完整的3D資產，基於建模軟體Blender打造。
此時所有blender用戶一起跟我：啊？ 
如此一來，我們就能用參數來控制細節：
##或是拿到對應的光流圖、3D場景光流圖、深度圖、全景分割圖等等，輕鬆hold住各種CV任務。 
最最重要的是，它也
免費、開源！
媽媽真的再也不用擔心我找不到高品質的3D資料投餵AI了…
100%基於隨機數學的3D資料產生器
#儘管AI發展迅猛，但目前CV領域的許多任務仍缺乏高品質的數據，3D尤甚。 一個解決方法是用合成資料
。事實證明，在這類資料上訓練的模型在零樣本的真實影像上也可以表現得很好。
但問題是，現有的大多數免費3D合成數據工具基本上局限於單一場景：要么是自動駕駛相關，要么就是那種位於室內環境中的人造物體。 因此，為了擴大覆蓋範圍，尤其是真實世界裡的自然場景，作者基於Blender打造了這個基於隨機數學規則
無限生成各種場景的Infinigen。 
Infinigen主要利用Blender的「基元」
（或原語），設計了一個程式規則庫，透過編碼完成真實自然場景各個對象的生成。
- 論文主要介紹了Infinigen的程式體系，包括：
- Node Transpiler （節點轉換器）
如下圖所示，它產生的程式碼更通用，既允許我們隨機化輸入參數，也允許隨機化圖結構。 
- Generator Subsystems（生成器子系統），Infinigen的生成器是一個個基於機率的程序，每個程式專門用於生成一個子物件（例如山脈或魚類）。每個物件都有一組進階參數 （例如山的總高度）
- ，使用者可以使用Python API來調整這些參數，以實現對資料產生的細粒度控制。 Material Generators （材質產生器）
- Terrain Generators（地形產生器），如下圖所示，該生成器可以透過重複擠壓生成巨石，使用Blender的內建插件產生小石塊。
並幫助Infinigen透過使用FLIP模擬動力學流體，使用Blender的粒子系統模擬天氣。
- Plants & Underwater Object Generators（植物和水下物體產生器），包括使用隨機遊走等演算法對樹木生長進行建模，從而形成一個覆蓋各種樹木、灌木甚至仙人掌的3D世界。
又或是使用差異化生長、拉普拉斯生長和反應擴散製造各種珊瑚、使用幾何節點圖生成樹葉、花朵、海藻、海帶、軟體動物和水母。
還有各種子生成器（例如生物生成器）就不一一介紹了。
除了這些，Infinigen還包括一個圖像渲染與Ground Truth提取程序，主要用於產生下圖這些類型的圖像。
其中對於前者，系統使用了Blender基於自然法則的路徑追蹤渲染器Cycles來渲染影像。
作者介紹，雖然使用Blender開發了Infinigen的程式規則，不過程式產生的很大一部分是在Blender之外完成的。
另外，他們也表示，建構Infinigen是一項極大量的軟體工程，光是它程式碼庫的主分支就囊括了40485行程式碼。
最後，Infinigen在2個Intel Xeon Silver 4114 @ 2.20GHz CPU和1個NVidia GPU上進行了基準測試，產生一對1080p映像的時間（wall time）為3.5小時。
下表是它與現有合成資料集或生成器的比較。
作者表示，從中可以看出，Infinigen最大的優點就是不需要任何外部參考資源庫就能程式化地產生無限的自然3D數據，別的都不行。
團隊介紹
Infinigen將在本週三的CVPR會議上進行Poster展示。
它的作者全部來自普林斯頓大學Vision & Learning Lab。
三位共同一作，其中一位叫Ma Zeyu，普林斯頓大學博士三年級在讀，2020年本科畢業於清華大學電子工程專業。
通訊作者為普林斯頓大學電腦科學系副教授鄧嘉。
目前，Infinigen的程式碼已經上線GitHub，短短兩天已有850個標星。
論文網址：
https://www.php. cn/link/d9812f756d0df06c7381945d2e2c7d4b
##https://www.php.cn/link/ca886eb9edb61a42256192745c72cd79
#GitHub位址：
#GitHub位址：
以上是零AI含量！純隨機數學無限生成逼真3D世界火了，普林斯頓華人一作的詳細內容。更多資訊請關注PHP中文網其他相關文章！