真實、可控、可拓展，自動駕駛光照模擬平台LightSim上新了

最近，Waabi AI、多倫多大學、滑鐵盧大學和麻省理工的研究者們在Neu​​rIPS 2023上提出了一個全新的自動駕駛光照模擬平台LightSim。研究者提出了一種從真實資料中產生配對光照訓練資料的方法，解決了資料缺失和模型遷移損失的問題。 LightSim利用神經輻射場（NeRF）和基於物理的深度網絡渲染車輛駕駛視頻，首次在大規模真實數據上實現了動態場景的光照仿真

• 計畫網站：https://waabi.ai/lightsim
• 論文連結：https://openreview.net /pdf?id=mcx8IGneYw

為什麼需要自動駕駛光照模擬？

在機器人技術中，相機模擬是非常重要的，特別是對於自動駕駛車輛感知室外場景。然而，現有的相機感知系統在遇到未經訓練的室外照明條件時表現不佳。透過使用相機模擬來產生多樣的室外照明變化資料集，可以提升自動駕駛系統的穩定性

#常見的相機模擬方法一般基於實體引擎。這種方法透過設定 3D 模型和照明條件來渲染場景。但往往仿真效果缺乏多樣性且不夠逼真。此外，由於高品質的 3D 模型數量有限，且物理渲染結果與真實世界場景不完全匹配。這導致訓練模型在真實資料上的泛化能力較差。

另一種方法是基於資料驅動的模擬方法。這種方法利用神經渲染技術重構真實世界的數位孿生，以複製感測器觀測到的資料。透過這種方法，我們可以更靈活地創建場景並提高真實感。然而，目前的技術將場景的照明資訊嵌入到3D模型中，這樣就限制了對數位孿生的編輯，例如改變照明條件或添加、刪除物體等操作

在NeurIPS 2023 的一篇工作中，來自Waabi AI 的研究者們展示了一個基於物理引擎和神經網路的光照模擬系統LightSim: Neural Lighting Simulation for Urban Scenes.

#與以往工作不同，LightSim能夠同時實現以下幾點：

#1. 真實（realistic）: 第一次做到對大規模室外動態場景進行光照仿真，並且可以較為準確地模擬陰影、物體間的光照效果等。

2. 可控（controllable）：支援動態駕駛場景的編輯（增加、刪除物件、相機位置和參數、改變光照、產生安全關鍵場景等等），從而產生更逼真且一致性更強的影片來提升系統對於光照和邊緣情況的穩健性。

3. 可擴展(scalable): 方便擴展到更多的場景和不同資料集中，只需要採集一次資料（single pass), 就能重新建構並進行真實可控的仿真測試。

模擬系統的建構

#第一步：建構真實世界的可重新照明數位孿生體

為了在數位世界中重建自動駕駛場景，LightSim 首先從採集的資料中劃分動態物件和靜態場景。這一步使用了 UniSim 來重建場景，並在網路中移除了相機視角依賴。再使用 marching cube 得到 geometry, 並進一步轉換為有基本材料的 mesh。

#

除了材質和幾何，LightSim 還能夠根據室外白天場景的主要光源太陽和天空，估算室外照明，得到高動態範圍的環境圖（HDR Sky dome）。借助感測器數據和提取的幾何體，LightSim 可以估算出一個不完整的全景影像，然後補全它，以獲得全方位 360° 的天空視圖。從而利用這個全景影像和 GPS 資訊產生 HDR 環境圖，準確估算出太陽強度、太陽方向和天空外觀。

#重述內容：第二步驟是進行動態城市場景的神經照明模擬

在得到數位孿生體後，可以進一步對其進行修改，例如增加或移除物體，改變車輛軌跡或更改照明等，以產生擴增實境的表徵。 LightSim 將執行基於物理的渲染，產生有關修改場景的照明相關數據，如基本色彩、深度、法向量和陰影。利用這些與照明相關的數據以及場景來源和目標照明條件的估算，LightSim 的工作流程如下所示。

儘管基於物理的渲染影像能夠很好地重建場景中的照明效果，但由於幾何形狀的不完美以及材料/照明分解中的誤差，渲染結果往往缺乏真實感，例如模糊、不真實的表面反射和邊界偽影。因此，研究人員提出了增強真實感的神經延遲渲染。他們引入了一個影像合成網絡，利用預計算緩衝區中的來源影像和渲染引擎產生的照明相關數據，產生最終的影像。同時，論文中的方法也為網路提供了環境圖，以增強照明上下文，並透過數位孿生體生成了成對圖像，提供了一種新穎的成對模擬和真實數據訓練方案

模擬能力展示

改變場景的光照(Scene Relighting)

LightSim 可以在新的光照條件下以時間一致的方式渲染相同場景。如影片所示，新的太陽位置和天空外觀會導致場景的陰影和外觀發生變化。

LightSim可以自動對場景進行大量重新照明。它可以從估計和真實的HDR環境圖中產生與原始場景相同的新的、時​​間一致的、3D感知的照明變化

##影像修正(Image Correction)

LightSim的照明表示是可編輯的，可以改變太陽的方向，從而更新與太陽光方向相關的照明變化和陰影。透過旋轉HDR環境圖並將其傳遞給神經延遲渲染模組，LightSim產生以下影片

#LightSim也支援批次編輯陰影功能

光照感知角色插入(Lighting-Aware Character Insertion)

#除了修改照明之外，LightSim 還可以對不常見的物件（例如建築障礙物）執行照明感知的添加。這些新增的物件可以更新物件的照明陰影、做到準確遮擋物體以及與整個相機配置的空間適配。

模擬遷移(Generalization to nuScenes)

由於LightSim的神經延遲渲染網絡是在多個駕駛影片上進行訓練的，所以LightSim可以推廣到新場景中。以下影片展示了LightSim在nuScenes中駕駛場景的泛化能力。 LightSim可以為每個場景建立照明感知數位孿生，然後應用於在PandaSet上預先訓練的神經延遲渲染模型。 LightSim的遷移性能良好，並且可以為場景重新照明提供較為穩健的解決方案

#真實可控的相機模擬

綜合以上所展示的所有功能，LightSim 實現了可控、多樣化且逼真的相機模擬。以下影片展示了 LightSim 的場景模擬效能。在影片中，一輛白色的車緊急變換車道至SDV 車道，引入了新的路障，這使得白色車輛進入了產生一個全新的場景，在新場景的多種照明條件下 LightSim 生成的效果如下所示。

在下面的视频中，演示了一个新的实例。在现有的道路障碍中插入了新的障碍，并增加了一组新的车辆。通过使用LightSim进行仿真光照，使得新加入的车辆能够完美地融入到场景中

总结和展望

LightSim是一個可感知光照的相機模擬平台，提供處理大規模動態駕駛場景的服務。它能夠根據現實世界的數據構建可感知照明的數字孿生體，並對其進行修改，以創建具有不同物體布局、自動駕駛車視角的新場景。LightSim能夠模擬新的照明條件，實現多樣化、真實且可控的相機模擬，從而生成時間/空間一致的視頻。值得注意的是，LightSim還可以結合逆向渲染、天氣模擬等技術，進一步提升模擬性能

以上是真實、可控、可拓展，自動駕駛光照模擬平台LightSim上新了的詳細內容。更多資訊請關注PHP中文網其他相關文章！