北大出品：紋理品質與多視角一致性的最新SOTA，在2分鐘內實現1張圖的3D轉換

只要兩分鐘，玩圖片轉3D！

還是高紋理品質、多視角高一致性的那種。

不管是什麼物種，輸入時的單一視圖影像還是這樣嬸兒的：

兩分鐘後，3D版大功告成：

△上，Repaint123（NeRF）；下，Repaint123（GS）

新方法名為Repaint123，核心思想是將2D擴散模型的強大圖像生成能力與再繪策略的紋理對齊能力相結合，來產生高品質、多視角一致的圖像。

此外，研究還引入了針對重疊區域的可見性感知自適應再繪強度的方法。

Repaint123一舉解決了先前方法多視角偏差大、紋理退化、生成慢等問題。

目前專案程式碼還未在GitHub公佈，就有100 人趕來標星碼住：

## Repaint123長啥樣？

之前，將影像轉換為3D的方法通常會採用Score Distillation Sampling (SDS)。儘管該方法的結果令人印象深刻，但存在一些問題，例如多視角不一致、過度飽和、過度平滑的紋理以及生成速度緩慢。

△從上到下：輸入，Zero123-XL，Magic123，Dream gaussian

為了解決這些問題，來自北京大學、鵬城實驗室、新加坡國立大學、武漢大學的研究人員提出了Repaint123。

總的來說，Repaint123有這幾點貢獻：

（1）Repaint123透過綜合考慮圖像到3D產生的可控重繪過程，能夠產生高品質的圖片序列，並確保這些圖片在多個視角下保持一致。

（2）Repaint123提出了一個簡單的單一視圖3D產生的基準方法。

在粗模階段，它利用Zero123作為3D先驗，並結合SDS損失函數，透過優化Gaussian Splatting幾何，快速產生粗糙的3D模型（僅需1分鐘）。

在細模階段，它採用Stable Diffusion作為2D先驗，並結合均方誤差（MSE）損失函數，透過快速細化網格紋理，產生高品質的3D模型（同樣只需1分鐘）。

（3）大量的實驗證明了Repaint123方法的有效性。它能夠在短短2分鐘內，從單張影像中產生與2D生成品質相符的高品質3D內容。

△實現3D一致且高品質的單視角3D快速生成

下面來看具體方法。

Repaint123專注於優化mesh細化階段，其主要改進方向涵蓋兩個方面：產生具有多視角一致性的高品質影像序列以及實現快速且高品質的3D重建。

1、產生具有多視角一致性的高品質影像序列

產生具有多視角一致性的高品質影像序列分為以下三個部分:

△多視角一致的影像生成流程

#DDIM反演

為了保留在粗模階段生成的3D一致的低頻紋理訊息，作者採用了DDIM反演將影像反演到確定的潛在空間，為後續的去噪過程奠定基礎，產生忠實一致的影像。

可控去雜訊

為了在去噪階段控制幾何一致性和長程紋理一致性，作者引入了ControlNet，使用粗模渲染的深度圖作為幾何先驗，同時注入參考圖的Attention特徵進行紋理遷移。

此外，為了執行無分類器引導以提升圖像質量，論文使用CLIP將參考圖編碼為圖像提示，用於指導去噪網路。

重繪

漸進式重繪遮蔽和重疊部分為了確保影像序列中相鄰影像的重疊區域在像素層級對齊，作者採用了漸進式局部重繪的策略。

在保持重疊區域不變的同時，產生和諧一致的相鄰區域，並從參考視角逐步延伸到360°。

然而，如下圖所示，作者發現重疊區域同樣需要進行細化，因為在正視時之前斜視的區域的可視分辨率變大，需要補充更多的高頻資訊。

另外，細化強度等於1-cosθ*，其中θ*為先前所有相機視角與所視表面法向量夾角θ的最大值，從而自適應地重繪重疊區域。

△相機視角與細化強度的關係

為了選擇適當的細化強度，以在提高品質的同時保證忠實度，作者藉鑑了投影定理和影像超分的思想，提出了一種簡單而直接的可見性感知的重繪策略來細化重疊區域。

2、快速且高品質的3D重建

如下圖所展示的，作者在進行快速且高品質的3D重建過程中，採用了兩階段方法。

△Repaint123兩階段單視角3D生成框架

首先，他們利用Gaussian Splatting表示來快速產生合理的幾何結構和粗糙的紋理。

同時，借助先前產生的多視角一致的高品質影像序列，作者能夠使用簡單的均方誤差（MSE）損失進行快速的3D紋理重建。

一致性、品質和速度最優

研究人員對多個單一視圖產生任務的方法進行了比較。

△單視圖3D產生視覺化比較

在RealFusion15和Test-alpha資料集上，Repaint123取得了在一致性、品質和速度三個方面最領先的效果。

同時，作者也對論文使用的每個模組的有效性以及視角轉動增量進行了消融實驗:

並且發現，視角間隔為60度時，效能達到峰值，但視角間隔過大會減少重疊區域，增加多面問題的可能性，所以40度可作為最佳視角間隔。

論文網址：https://arxiv.org/pdf/2312.13271.pdf
程式碼位址：https:// pku-yuangroup.github.io/repaint123/
專案網址：https://pku-yuangroup.github.io/repaint123/

#

以上是北大出品：紋理品質與多視角一致性的最新SOTA，在2分鐘內實現1張圖的3D轉換的詳細內容。更多資訊請關注PHP中文網其他相關文章！