0.5秒，無需GPU，Stability AI與華人團隊VAST開源單圖生成3D模型TripoSR

最近，文生視訊模型 Sora 掀起了新一輪生成式 AI 模型浪潮，模型的多模態能力引起廣泛關注。

現在，AI 模型在 3D 內容生成方面又有了新突破。

在成功推出圖片產生和影片產生專案之後，以視覺內容生成為專長的 Stability AI 現在正致力於拓展到3D領域。最新消息顯示，該公司已與華人團隊 VAST 合作，共同開源一項名為 TripoSR 的單圖生成3D模型專案。這項舉措進一步鞏固了 Stability AI 在數位內容生成領域的領先地位，並為用戶帶來更加多樣化和創新性的產品體驗。

TripoSR 能夠在 0.5s 的時間內由單張圖片產生高品質的 3D 模型，甚至無需 GPU 即可運作。

• TripoSR 模型程式碼：https://github.com/VAST-AI-Research/TripoSR

• TripoSR 模型權重：https://huggingface.co/stabilityai/TripoSR

• TripoSR Demo：https://huggingface.co/spaces/stabilityai/TripoSR

#在NVIDIA A100 上測試TripoSR 時，它能夠以大約0.5 秒的速度產生具有紋理的高品質草圖3D 網格模型，這一性能表現超過了其他開源圖像到3D 模型的工具，比如OpenLRM。除了速度之外，TripoSR 對於使用者是否具有 GPU 都是完全可用的。

TripoSR 的靈感來自 2023 年 11 月 Adob​​​​e 推出的 LRM。這是一個用於影像生成 3D 大規模重建模型（Large Reconstruction Model，LRM）的創新技術。 LRM 的獨特之處在於它能夠根據任意單張輸入影像，在短短幾秒鐘內產生對應的三維模型。這項技術的突破性在於其高效性和準確性，讓使用者能夠輕鬆地將平面影像轉換為逼真的三維模型。 TripoSR 在這項技術基礎上進行了進一步的發展和最佳化，使得使用者能夠更快速、更精確地創造出令人驚嘆的三維場景。透過結合LRM

LRM 突破性地將圖生3D 模型任務表述成了一個序列到序列的翻譯任務－ 把輸入影像和輸出的3D 模型分別想像成兩種不同的語言，圖生3D 任務可以被理解為把圖像語言翻譯成3D 模型語言的過程。圖像語言中的「單字」（類比語言模型的token 和視訊模型的patch）是使用者輸入圖像切分成的一個小塊；而在LRM 方法中，3D 模型語言的「單字」 是一種稱為“三平面（triplane）” 的三維表示中的一個小塊，LRM 做的事情就是把圖像語言中的“單字” 翻譯成3D 模型語言中的“單字”，實現輸入圖像輸出3D 模型。

在transformer 架構的支撐下，LRM 在一百餘萬公開三維資料上進行了訓練，展示出了現象級的圖生3D 效果和效率，因此在學界、業界均引起了很大的轟動。然而其相關程式碼和模型均不開源，巨大的訓練代價（128 塊 A100 運行一周）也令小型研究組織望而生畏，這些因素極大阻礙了該技術的平民化發展。

本次Tripo AI 和Stability AI 聯合共同推出了首個LRM 的高品質開源實現- TripoSR，可以幾乎即時根據用戶提供的圖像生成高品質的三維模型，極大地填補了3D 生成式人工智慧領域的一個關鍵空白。

根據Stability 的部落格和技術報告，該模型基於LRM 的原始演算法，透過精細篩選和渲染的Objaverse 資料集子集以及一系列的模型和訓練改進，顯著提高了從有限訓練資料中泛化的能力，同時也增強了3D 重建的保真度。直至 TripoSR 的出現，學術界和開源界一直缺乏一個開放、快速、且具備強大泛化能力的 3D 生成基礎模型和框架。先前儘管存在如 threestudio 這樣受到廣泛關注的開源項目，但由於其依賴的技術（例如 score distillation sampling）需要較長的優化和計算時間，使得生成一個 3D 模型既緩慢又資源消耗巨大。 Stability AI 先前在這條路線上發布的 Stable Zero123 專案及其在 threestudio 中的整合嘗試，雖然取得了一定進展，但仍未能充分解決這些問題。

TripoSR 開源使全球的研究人員、開發者和創意工作者能夠訪問到最先進的3D 生成AI 模型，使各類公司能夠利用3D 內容創建更複雜的產品和服務、探索3D 行業新的創造可能性，促進一個更活躍和有競爭力的市場。

                                    ^{方面對中對上 3coreD 表現更好的關係進行良好的 F-Score（低等推理之間關係中越好的關係（越值或時間越好的關係（越值）。}

3D 內容生成技術在電腦圖形學和電腦視覺領域近年來經歷著穩步的發展。在過去一年多時間內，特別是隨著大規模公開 3D 資料集的出現以及 2D 影像視訊領域強大生成模型的進步，3D 生成技術實現了巨大和快速的進步，引起了工業界廣泛關注。在這一背景下，諸如DreamFusion（由Google Research 團隊提出）等基於score distillation sampling（SDS）的技術，雖然在多視角生成3D 模型方面取得了突破，但在實際應用中仍面臨生成時間長、難以精細控制生成模型等限制。

與此相對，基於大規模3D 資料集和大規模可擴展模型架構的生成技術方案，如此次發布的TripoSR，展現了在不同3D 資料集上進行高效訓練的能力，其生成3D 模型流程僅需快速前向推理，並能在生成過程中易於對3D 模型結果進行精細控制。該類技術的出現，不僅為 3D 生成技術的快速發展開闢了新的道路，也為業界的更廣泛應用提供了新的可能性。

                  ^{圖片與資料來源：} #值得關注的是，Stability AI 這次與Tripo AI 聯合開源。 Tripo AI 背後的研究機構 VAST AI Research 作為 3D 內容生成領域的新銳研究團隊，從創立之初就致力於開源社群貢獻，相繼開源了 Wonder3D、CSD、TGS 等優質研究工作的程式碼和權重。

Tripo 是 VAST 自 2023 年 12 月推出的通用 3D 生成模型（www.tripo3d.ai）。能實現 8 秒內透過文字或圖片生成 3D 網格模型，並透過 5 分鐘進行精細化生成，生成模型品質在幾何和材質層面都接近手工水準。

根據VAST AI Research 的博客，AI 在3D 生成領域的長足發展需要採取一種“通用方法”，跳出對人類經驗的依賴，透過更龐大的數據、更可擴展的模型和充分利用強大運算能力來「學習」。此 「通用方法」 應包含多種模態訓練資料的統一、多種模態控制條件的統一以及多種模態通用的生成模型基礎架構。

為實現這一目標，VAST 認為需要從表示、模型和資料三個方向進行工作。其中，「表示」 的選擇至關重要，需要尋找一種既靈活、又利於計算的 3D 表示形式，同時確保與現有圖形管線的兼容性。此外，探索 “3D tokenizer” 也是一種有前景的方向，將 3D 表示轉化為類似於語言 token 的形式，有助於將現有的理解和生成模型應用於 3D 領域。

在 「模型」 層面，VAST 的研究旨在充分利用大模型在其他模態下的先驗知識、設計準則和訓練經驗，以增強模型對 3D 資料的學習能力。而 「資料」 層面的挑戰也不容忽視，優質、原生、多樣化的 3D 資料集資源的稀缺性限制了模型的最終表現和泛化能力。

TripoSR 讓我們看到了生成式 AI 模型在 3D 方向的潛力，我們期待 2024 年 3D 生成領域將會有更多新的探索。

參考連結：

#https://stability.ai/news/triposr-3d-generation?utm_source =x&utm_medium=website&utm_campaign=blog#

以上是0.5秒，無需GPU，Stability AI與華人團隊VAST開源單圖生成3D模型TripoSR的詳細內容。更多資訊請關注PHP中文網其他相關文章！