有望取代Deepfake？揭秘今年最火熱的NeRF技術有多牛

什麼，你還不知道NeRF？ 

作為今年電腦視覺領域最火熱的AI技術，NeRF可謂是應用廣泛，前景一片大好。 

B站上的朋友可算是把這項技術玩出了新花樣。 

拋磚引玉

那麼，究竟NeRF是什麼？

NeRF（Neural Radiance Fields）是最早在2020年ECCV會議上的最佳論文中提出的概念，其將隱式表達推上了一個新的高度，僅用2D的posed images作為監督，即可表示複雜的三維場景。 

一石激起千層浪，自此之後NeRF迅速發展被應用到多個技術方向，如「新視點合成、三維重建」等。 

NeRF其輸入稀疏的多角度帶pose的圖像訓練得到一個神經輻射場模型，根據這個模型可以渲染出任意視角下的清晰的照片，如下圖所示。也可以簡單概括為用一個MLP去隱式地學習一個三維場景。 

網友自然也會將NeRF與同樣大受追捧的Deepfake做個比較。 

最近MetaPhysics發佈的一篇文章就盤點了NeRF的進化史、面臨的挑戰和優勢，並預測NeRF最終將取代Deepfake。 

大部分關於deepfake技術引人注目的話題，是指自17年deepfakes進入大眾視野後開始流行的兩個開源軟體包：DeepFaceLab (DFL) 和FaceSwap。 

儘管這兩個軟體包都擁有廣泛的用戶群和活躍的開發者社區，但這兩個專案與GitHub程式碼都沒有明顯的偏離。 

當然，DFL和FaceSwap的開發人員並沒有閒著：現在可以使用更大的輸入影像來訓練deepfake模型，儘管這需要更昂貴的GPU。 

但其實在過去的三年裡，媒體鼓吹的deepfake影像品質提升主要還是得歸功於終端用戶。

他們在資料收集方面累積了「省時而難得」的經驗，以及訓練模型的最佳方法（有時單次實驗就需要幾週時間），並且學會如何利用和擴展原始2017程式碼的最外層限制。 

VFX和ML研究社群中的一些人正試圖透過擴展架構來突破流行的deepfake套件的「硬限制」，以便機器學習模型可以在高達1024×1024的影像上進行訓練。 

其像素是DeepFaceLab或FaceSwap目前實際範圍的兩倍，更接近電影和電視製作中有用的解析度。

接下來讓我們一起了解一下NeRF吧~ 

揭開面紗 

NeRF（Neural Radiance Fields），它出現於2020年，是一種透過在神經網路內拼接多個視點照片實現重建物件和環境的方法。 

它透過使用稀疏的輸入視圖集來優化底層連續的體積場景函數，實現了綜合複雜場景視圖的最佳結果。

此演算法也使用全連接深度網路表示一個場景，其輸入是單一連續的5D座標（空間位置(x, y, z)和觀看方向(θ， φ)），其輸出是該空間位置的體積密度和相關的發射幅亮度。 

透過沿著相機光線查詢5D座標來合成視圖，並使用經典的體繪製技術（volume rendering）將輸出的色彩和密度投影到影像中。

實現過程： 

首先將一個連續的場景表示為一個5D向量值函數，其輸入是一個3D位置和2D觀看方向，對應的輸出是一個發射顏色c和體積密度σ。 

在實務上，以3D笛卡爾單位向量d表示方向。利用用MLP網路近似這個連續的5D場景表示，並優化其權重。 

此外，透過限制網路來預測體積密度σ作為位置x的函數，同時也允許RGB顏色c作為位置和觀看方向的函數進行預測，從而鼓勵表示多視圖一致。 

為了實現這一點，MLP首先處理輸入的具有8個全連接層的3D座標x（使用ReLU激活和每層256個通道），並輸出σ和256維特徵向量。 

這個特徵向量接著與相機射線的觀看方向連接，並傳遞給一個額外的全連接層，輸出與視圖相關的RGB顏色。 

此外，NeRF還引入了兩個改進來實現高解析度複雜場景的表示。第一個是位置編碼，以幫助MLP表示高頻函數，第二個是分層抽樣過程，使其能夠有效地對高頻表示進行抽樣。 

眾所周知，Transformer架構中的位置編碼可以提供序列中標記的離散位置，作為整個架構的輸入。而NeRF使用位置編碼是將連續的輸入座標映射到更高的維度空間，使MLP更容易逼近更高頻率的函數。 

從圖中可以觀察到，移除位置編碼會大幅降低模型表示高頻幾何和紋理的能力，最終導致外觀過度平滑。

由於沿著每條相機射線在N個查詢點密集評估神經輻射場網路的渲染策略十分低效，所以NeRF最後採用了一種分層表示，透過按最終渲染的預期效果比例分配樣本來提高渲染效率。 

簡而言之，NeRF不再只使用一個網絡來表示場景，而是同時優化兩個網絡，一個「粗粒度」網絡和一個「細粒度」網絡。 

未來可期 

NeRF解決了過去的不足，即使用MLP將物件和場景表示為連續函數。相較於過往的方法，NeRF可以產生更好的渲染效果。 

但是，NeRF同樣也面臨許多科技瓶頸，例如NeRF的加速器會犧牲其他相對有用的功能（例如彈性），以實現低延遲、更多互動環境以及較少訓練時間的目的。 

所以，NeRF雖然是一個關鍵性的突破，但想要達到完美的效果，還是需要一定的時間。 

科技在進步，未來依舊可期！

以上是有望取代Deepfake？揭秘今年最火熱的NeRF技術有多牛的詳細內容。更多資訊請關注PHP中文網其他相關文章！