眼球反射解鎖3D世界，黑鏡成真！馬裡蘭華人新作炸翻科幻迷

「唯一真正的探索之旅，不是去拜訪陌生的土地，而是透過別人的眼睛來觀察宇宙。」——馬塞爾·普魯斯特

透過別人的眼睛看世界，這個又科幻又詩意（又恐怖）的想法，已經成真了！

《黑鏡》第一季《你的全部歷史》

#現在，我們只要利用眼睛的反光，就能立體重建這個人正在觀察的物體。

是的，這很黑鏡。

最近，來自馬裡蘭大學的團隊，提出一種全新的方法——透過利用包含眼睛反射的人像，來對攝影機沒有拍到的場景進行三維重建。

論文網址：https://arxiv.org/abs/2306.09348

#專案網址：https://world-from-eyes.github.io/

經典科幻中的場景都成真了？

用眼睛反射產生輻射場重建？這個想法看似瘋狂，但其實有足夠的理論基礎。

作者介紹說，因為人眼具有高度的反射性，所以從捕捉頭部移動的一系列影格中，完全可以做到僅使用眼睛的反射，就能重建和渲染人們正在觀察的3D場景。

鑑於這個概念非常「黑鏡」，而且這篇論文一發布沒幾個小時，《黑鏡》新一季就宣布上線了，這種巧合簡直讓人懷疑《黑鏡》的導演是不是也注意到了這篇論文。 （狗頭）

#黑鏡第六季今日上線

#這項研究一出，網友們直接炸了。

所以，我們已經快轉到這一步了？

這不就是2000年代《攻殼機動隊》中的場景嗎？這些虛構全都變成現實了！

###100%的《銀翼殺手》，現在就給我一份拷貝吧。 ######

#儒勒凡爾納的《基普兄弟》成真了！

當然，也有人對此表示毛骨悚然：這個技術可千萬別被用來調查取證之類的事情。

而在今天，我們已經有了Varjo眼動追蹤相機，還有蘋果的VisionPro以及其他頭顯，這些設備都可以捕捉大量鏡頭素材，結合進這項新技術，無數嶄新的科幻場景，恐怕馬上都要成真了……

透過利用光線在人眼上的微小反射，研究團隊開發了一種方法，可以使用在固定相機位置拍攝的單眼影像序列來重建人所觀察到的（非直視）場景。

不過，僅僅在觀察到的反射上訓練輻射場是不夠的，原因有幾個：1）角膜定位中的固有噪聲，2）虹膜紋理的複雜性， 3）每張影像中捕捉的低解析度反射。

為了解決這些挑戰，團隊在訓練過程中引入了角膜姿態優化和虹膜紋理分解，並藉助基於人眼虹膜的徑向紋理正則化損失。

與傳統的需要移動相機的神經場訓練方法不同，他們使用的方法將相機放置在固定的視點上，完全依賴使用者的移動。

利用人眼反光，實現場景重建

由於準確估計眼睛的姿態十分困難，再加上虹膜和場景反射之間的紋理相互交織，因此這項任務頗具挑戰性。

為了解決這個問題，作者針對眼睛姿態、描述場景的輻射場以及觀察者的眼睛虹膜紋理，進行了聯合優化。

具體來說，主要的貢獻有三點：

1. 新的三維重建

提出了一種從眼睛圖像中重建觀察者世界的3D場景的新方法，可以將先前的基礎工作與神經渲染的最新進展相結合。

2. 虹膜的徑向先驗

#引入了虹膜紋理分解的徑向先驗，顯著提高了重建的輻射場的質量。

3. 角膜姿態的最佳化

#發展了一種角膜姿態優化的過程，以減輕眼睛姿態估計的噪聲，克服了從人眼中提取特徵的獨特挑戰。

結果顯示，利用這個全新的方法，我們可以透過移動畫面，從眼睛的反射中獲得場景的多個視角，最終實現完整的場景重建。

更厲害的是，團隊也試著利用Miley Cyrus和Lady Gaga的MV，來重建她們眼睛裡的景象。

作者表示，他們成功地重建了出現在Miley的眼中的物體，並且從Lady Gaga的眼中似乎看到了一個人的上半身。

然而，由於這些影片的品質不夠高，因此還不能斷定重建結果的準確性。

#Lady Gaga

Lady Gaga

Miley Cyrus

如何做到的？

眾所周知，健康成年人的角膜幾何形狀幾乎相同。

因此，只需在圖像中計算一個人的角膜的像素大小，就可以準確計算出他們的眼睛位置。

接下來，作者透過從相機拍攝光線，並將它們反射出近似的眼睛幾何形狀，來訓練眼睛反射的輻射場。

為了避免人眼的虹膜在重建中出現，作者同時訓練了一個學習虹膜紋理的二維紋理映射，來進行紋理分解。

實驗評估

##實驗評估

合成資料評估

首先，作者透過在Blender場景中放置人眼模型，進行了合成資料上的評估。

下圖展示了僅利用眼睛反射重建的場景。

由於在現實生活中無法完美估計眼角膜，作者和評估了角膜姿態優化對估計角膜半徑噪音的穩健性。

#########為了模擬真實數據中可能遇到的深度估計誤差，作者透過使用不同噪音水平對每個圖像中觀察到的角膜半徑進行縮放，來破壞觀察到的角膜半徑r_img。 ###########################下圖展示了在不同雜訊等級下的效能變化。 ############值得注意的是，隨著噪音的增加，與無姿態優化的重建相比，作者提出的姿態優化重建在重建的幾何形狀和顏色方面更為穩健。 ######

這證明姿態優化對於現實場景至關重要，因為影像中從投影的角膜到初始橢圓擬合並不完美。

此外，有無紋理分解的情況下的定量比較顯示，作者的方法在SSIM和LPIPS方面在紋理分解的情況下表現得更好。

值得注意的是，作者沒有計算PSNR，因為在設定中，反射和場景本身之間的照明差異非常大。

真實世界評估

為了保證視野的真實，作者選擇了索尼RX IV相機進行拍攝，並使用Adobe Lightroom對影像進行後處理，以減少角膜反射中的雜訊。同時，作者在人物的兩側加入了光源來照亮目標物體。

過程中，被拍的人需要在相機的視野範圍內移動，以便團隊在每個場景中拍攝5-15張影像。

由於場景照明具有較大的動態範圍，作者在所有實驗中使用16位元影像，以避免遺失觀察到的反射中的信息。

平均而言，每個影像中角膜只覆蓋約0.1％的區域，而目標物體大約會佔到20x20像素，並與虹膜紋理交錯。

作者先透過對影像進行角膜中心和半徑的估計，以獲得角膜的初始位置估計。 然後，使用平均深度和相機的焦距直接近似來計算角膜的三維位置，並計算其表面法線。

為了自動化這個過程，作者使用Grounding Dino定位眼睛的邊界框，並使用ELLSeg對虹膜進行橢圓擬合。

儘管角膜通常被遮擋，但我們只需要未遮蔽的區域，因此可以使用Segment Anything來獲得虹膜的分割掩碼。

真實結果

從下圖在展示的效果中可以看出，作者的方法能夠從真實世界的人像圖片中重建3D場景，儘管存在角膜位置和幾何估計的不準確性。

###由於角膜邊界的模糊性，想要在影像中實現精確的定位十分困難。 ############此外，對於某些眼睛顏色，如綠色和藍色，3D重建也會更加困難，因為虹膜紋理較亮。 ###########################此外，當沒有明確建模紋理時，重建後的畫面中還會出現更多的「漂浮物」。 ############為了解決這些問題，可以透過增加徑向正規化的程度，來改善重建的品質。 ######

不過，這個方法依然有兩個主要的限制。

首先，目前的真實世界結果是基於「實驗室設定」，例如對人臉進行放大拍攝、使用額外的光源照亮場景等。而在較自由的環境中，就需要面對感測器解析度較低、動態範圍較小且存在運動模糊等更大的挑戰。

其次，目前對虹膜紋理的假設（例如恆定紋理、徑向恆定顏色）可能過於簡化，因此該方法在眼睛大幅度旋轉時可能會失效。

作者介紹

共同一作Kevin Zhang，目前是馬裡蘭大學的博士生。

Brandon Y. Feng在馬裡蘭大學獲得電腦科學博士學位，研究興趣集中在計算成像、中層視覺和計算攝影領域。曾開發了用於影像和3D資料處理的機器學習演算法，應用範圍涵蓋混合實境到自然科學等領域。

Jia-Bin Huang是馬裡蘭大學副教授，先前在UIUC獲得了博士學位。研究興趣集中在電腦視覺、電腦圖形學和機器學習的交叉領域。

以上是眼球反射解鎖3D世界，黑鏡成真！馬裡蘭華人新作炸翻科幻迷的詳細內容。更多資訊請關注PHP中文網其他相關文章！