Google逆天“夜視”拍照突然火紅了！完美降噪還能合成3D視角
- WBOY轉載
- 2023-04-13 16:16:061576瀏覽
最近，網路上一段來自Google的AI夜景拍攝影片被刷爆了！
影片中的這個技術叫RawNeRF，顧名思義就是NeRF的一個全新變體。
NeRF是一種全連接神經網絡，使用2D影像的資訊作為訓練數據，還原出3D場景。
RawNeRF比起之前的NeRF，有了許多改進。不僅能完美降噪，還能改變相機視角，調整焦點、曝光和色調映射。谷歌的這篇論文於2021年11月發表，並被CVPR 2022收錄。
計畫網址：https://bmild.github.io/rawnerf/
黑夜中的RawNeRF
在此之前，NeRF是使用色調映射的低動態範圍LDR影像作為輸入。
而Google的RawNeRF改為直接在線性原始影像上進行訓練，可以保留場景的完整動態範圍。
在合成視圖領域，處理黑暗的照片一直是個難題。
因為在這種情況下，影像中的細節極少。而這些影像讓我們很難把新視圖拼接在一起。
還好，我們有一個新的方案－使用原始感測器（RAW sensor data）的資料。
就是像這樣的圖，這樣，我們就有了更多的細節。
不過，仍有一個問題：雜訊也變多了。
所以我們必須做個選擇：是更少的細節和更少的雜訊，還是選擇更多的細節和更多的雜訊。
好消息是：我們可以使用影像降噪技術。
可以看到，降噪之後的影像效果不錯，但要合成視圖，這種品質還是不夠。
不過影像降噪技術為我們提供了一個想法：既然可以給單一影像去噪，那也可以給一組影像去噪。
讓我們來看看RawNeRF的效果。
而且，它還有更多令人驚訝的功能：對基礎資料進行色調映射，從深色影像中提取更多細節。
例如改變影像的焦點，營造出很棒的景深效果。
更厲害的是，這個還是即時的。
此外，影像的曝光也會隨著焦點的變化而產生對應的變化！
接下來，就讓我們來看看RawNeRF的五個經典的應用場景。
五大經典場景
1. 影像清晰度
看這張圖片，你能看到路牌上的信息嗎？
可以看到，經過RawNeRF處理後，路牌上的資訊就清晰多了。
在下面這個動圖裡，我們可以清楚地看到原始的NeRF技術和RawNeRF在影像合成上的差異。
其實，所謂的NeRF也不是多古老的技術，時間才剛過了2年而已…
#看得出來，RawNeRF在高光的處理上，表現得還是非常出色的，我們甚至能看到右下角車牌周圍的高光變化。
2. 鏡面高光
#鏡面高光屬於非常難捕捉的對象，因為在移動相機時，它們會發生很大的變化，而且照片之間的相對距離也比較遠。 這些因素對於學習演算法來說，都是巨大的挑戰。
在下面這張圖中可以看到，RawNeRF所產生的鏡面高光可以說是相當還原了。
3. 薄的結構
##即使在光線充足的情景中，以前的技術對於柵欄的顯示效果也並不好。
而RawNeRF即使處理有一堆柵欄的夜間照片，也妥妥hold得住。
即使在柵欄與車牌重合的地方，效果依然很好。
4. 鏡面反光
路面上的反光，一種更有挑戰性的鏡面高光。可以看到，RawNeRF也處理得非常自然，非常真實。
5. 改變焦點，調整曝光
##在這個場景中，讓我們試著改變視角，不斷變換焦點，同時調整曝光。
而現在，我們只需要幾秒鐘，就可以完成拍攝了。
當然，RawNeRF現在並不完美，我們可以看到，左邊的RawNeRF圖像和右邊的真實照片，還是有一些差異。
#
不過，從一組充滿雜訊的原始影像達到現在這樣的效果，RAWnerf已經取得相當大的進步了。要知道，兩年前的技術還完全做不到這樣。
RAW的好處
簡單回顧一下，NeRF訓練管線所接收的是經過相機處理的LDR影像，之後的場景重建和視圖渲染，基於的都是LDR色彩空間。因此，NeRF的輸出其實已經是經過了後製的，想要大幅修改和編輯是不可能了。
比較而言，RawNeRF是直接在線性原始HDR輸入資料上訓練的。由此產生的渲染結果可以像任何原始照片一樣進行編輯，例如改變焦點和曝光等等。
由此帶來的好處主要有兩點：HDR視圖合成和降噪處理。
在亮度變化極大的場景中，固定的快門速度不足以捕捉到全部動態範圍。 RawNeRF模型則可同時對短曝光和長曝光進行最佳化處理，從而恢復完整的動態範圍。
例如（b）中的這種大光比場景，就需要更複雜的局部色調映射演算法（例如HDR 後製），才能同時保留暗部的細節和室外的高光。
此外，RawNeRF還可以使用線性顏色渲染具有正確飽和的「虛化」亮點的合成失焦效果。
在影像雜訊的處理上，作者進一步地將RawNeRF在完全未經處理的HDR線性原始影像上進行了訓練，使其變成了一個能處理幾十甚至幾百張輸入影像的「降噪器」。
這種穩健性也意味著，RawNeRF可以出色地完成在黑暗中重建場景的任務。
例如在（a）這個只有一根蠟燭照明的夜景中，RawNeRF可以從吵雜的原始資料中提取出本來會被後製破壞的細節（b，c） 。
作者介紹
#論文的第一作者Ben Mildenhall是Google研究院的研究科學家，從事電腦視覺和圖形方面的問題。
他於2015年於史丹佛大學取得電腦科學和數學學士學位，並在2020年於加州大學柏克萊分校取得電腦科學博士學位。
剛結束的CVPR 2022，可以說是Ben的高光時刻了。
7篇錄用論文中有5篇拿下Oral，並且還有一篇獲得了最佳學生論文的榮譽提名。
網友評論
影片一出，立刻驚艷了眾網友。大家一起腦洞大開。
#看這技術進步的速度，要不了多久，夜間拍照再也不用愁了~
以上是Google逆天“夜視”拍照突然火紅了！完美降噪還能合成3D視角的詳細內容。更多資訊請關注PHP中文網其他相關文章！