“真假難辨”！巧用NeRF產生的自動駕駛模擬數據

寫在前面&筆者的個人理解

神經輻射場（NeRF）已成為推進自動駕駛（AD）重新搜尋的前奏的工具，提供可擴展的閉環模擬和數據增強功能。然而，為了信任模擬中獲得的結果，需要確保AD系統以相同的方式感知真實資料和渲染資料。儘管渲染方法的效能正在提高，但許多場景在忠實重建方面仍然具有固有的挑戰性。為此，我們提出了一種新的視角來解決真實數據與模擬數據之間的差距。我們不僅專注於提高渲染保真度，而是探索簡單而有效的方法，在不影響真實資料效能的情況下，增強感知模型對NeRF偽影的穩健性。此外，我們使用最先進的神經渲染技術，首次對AD設定中的真實到模擬資料間隙進行了大規模調查。具體來說，我們的研究在真實和模擬資料上評估了物件偵測器和線上映射模型，並研究了不同預訓練策略的效果。我們的結果顯示，模型對模擬數據的精確度顯著提高，甚至在某些情況下提高了真實世界的表現。最後，我們深入研究了真實到模擬之間的相似性，將FID和LPIPS確定為強指標。

在本文中，我們提出了一種新的視角來縮小智駕系統和感知模組之間的差距。我們的目標不是提高渲染質量，而是在不降低真實資料效能的情況下，使感知模型對NeRF偽影更具穩健性。我們認為，這一方向是提升NeRF效能的補充，也是實現虛擬AV測試的關鍵。作為朝著這個方向邁出的第一步，我們表明，即使是簡單的資料增強技術也會對模型對NeRF偽影的穩健性產生很大影響。

我們對大規模AD資料集進行了首次廣泛的real2sim gap研究，並評估了多個目標偵測器以及線上建立圖模型對真實資料和最先進（SOTA）神經渲染方法資料的效能。我們的研究包括訓練過程中不同資料增強技術的影響，以及推理過程中NeRF渲染的保真度。我們發現，在模型微調過程中，這些資料顯示出增強技術的影響，以及NeRF渲染的保真度在某些情況下甚至提高了對真實資料的效能。最後，我們研究了real2sim之間的隱含和常見影像重建指標的相關性，並深入解將NeRFs用於CAD資料模擬器的重要性。我們發現LPIPS和FID是real2sim差距的強大指標，並一步驗證了我們提出的增強功能降低了對比差視覺合成性的敏感性。

方法詳解

為了測試和驗證NeRF驅動的模擬引擎的AD功能，他們可以使用已經收集的資料來探索新的虛擬場景。然而，為了使用此類模型結果可信，AD系統在處理資料和實際資料時必須以相同的方式運作。在這項工作中，我們提出了一種替代和補充方法，即調整AD系統，使其對真實數據和模擬數據之間的差異不那麼敏感。透過這種方式，我們可以調整AD系統，以便使真實數據和模擬數據之間的差異不那麼敏感，從而更好地處理真實數據和模擬數據之間的差異。

在探索微調策略如何讓知覺模型對渲染資料中的偽影更具穩健性的第一步時，我們使用了不同的微調策略。具體來說，在給定已經訓練好的模型的情況下，我們利用圖像來微調感知模型，這些圖像著重於提高渲染圖像的性能，同時保持真實數據的性能，見圖2。除了減少real2sim差距外，這還可能降低感測器真實性的要求，為神經渲染方法的更廣泛應用鋪平道路，並減少對描述方法的訓練和評估的計算需求。請注意，當我們專注於感知模型時，我們的方法也可以輕鬆擴展到端到端模型。

最後，我們可以想像多種方法來實現使模型更健壯的目標，例如從領域自適應和多任務學習文獻中汲取靈感。然而，微調需要最小的模型特定調整，使我們能夠輕鬆研究一系列模型。

Image augmentations

影像增強是一種常用的方法，用於對偽影增強穩健性的經典策略是使用影像增強。在這裡，我們選擇增強來表現渲染影像中存在的各種失真。更具體地說，我們添加隨機高斯噪聲，將影像與高斯模糊核卷積，應用類似於SimCLR中發現的光度失真。最後，對影像進行下採樣和上採樣。增廣是依序應用的，每個增廣都有一定的機率。

Точная настройка с использованием смешанных визуализированных изображений

NeRF — это модель глубокого обучения для рендеринга 3D-сцен. В ходе тонкой настройки модель может адаптироваться к другой естественной форме, т. е. включить эти данные при тонкой настройке. Это облегчает возможность обучения моделей NeRF, так что методы NeRF можно обучать на том же наборе данных, что и модель с учетом наблюдения. Однако обучение NeRF на больших наборах данных может быть дорогостоящим, некоторые из которых могут потребовать меток для таких задач, как обнаружение трехмерных объектов, семантическая сегментация или метки нескольких категорий. Кроме того, NeRF от AD часто увеличивает требования к порядку данных. Чтобы адаптироваться к этим требованиям, меткам может потребоваться более специальная обработка, такая как обнаружение трехмерных объектов, семантическая сегментация или метки нескольких категорий и т. д.

Далее мы делим изображения выбранной последовательности на обучающий набор NeRF и контрольный набор. Точная настройка моделей восприятия выполняется на всем наборе обучающих данных D, а для изображений с соответствиями рендеринга в D мы используем визуализированное изображение с вероятностью p. Это означает, что изображения, используемые для точной настройки, не видны модели NeRF.

Перевод изображения в изображение

Как упоминалось ранее, рендеринг данных NeRF — это дорогостоящий метод увеличения данных. Более того, помимо данных, необходимых для задачи восприятия, также требуются последовательные данные и, возможно, дополнительные маркеры. То есть для масштабируемого подхода нам в идеале нужна эффективная стратегия получения данных NeRF для одного изображения. С этой целью мы предлагаем использовать подход «изображение к изображению», чтобы научиться генерировать изображения, подобные NeRF. Учитывая реальное изображение, модель преобразует его в домен NeRF, эффективно вводя артефакты, типичные для NeRF. Это позволяет нам значительно увеличить количество NeRF-подобных изображений во время тонкой настройки при ограниченных вычислительных затратах. Мы обучаем модель «изображение-изображение», используя визуализированные изображения Dnerf и соответствующие им реальные изображения. Наглядные примеры различных стратегий улучшения показаны на рисунке 3.

результат

#Нейронное радиационное поле (NeRF ) стал многообещающим подходом к моделированию данных автономного вождения (AD). Однако на практике необходимо понимать, как действия, выполняемые системой AD над смоделированными данными, преобразуются в реальные данные. Наше крупномасштабное исследование выявило разницу в производительности между моделями восприятия, подвергающимися смоделированным и реальным изображениям.

В отличие от более ранних подходов, направленных на улучшение качества рендеринга, в этой статье исследуется, как изменить модель восприятия, чтобы сделать ее более устойчивой к данным моделирования NeRF. Мы показываем, что точная настройка с использованием данных NeRF или NeRF-подобных данных значительно сокращает разрыв в Real2sim для методов обнаружения объектов и онлайн-картографии, не жертвуя при этом производительностью на реальных данных. Кроме того, мы показываем, что создание новых сценариев за пределами существующего распределения поездов, таких как моделирование выезда из полосы движения, может повысить производительность на реальных данных. Исследование часто используемых показателей изображений в сообществе NeRF показывает, что показатели LPIPS и FID демонстрируют наиболее сильную корреляцию с характеристиками восприятия. Это говорит о том, что сходство восприятия имеет большее значение для моделей восприятия, чем простое качество реконструкции.

В заключение мы считаем, что данные моделирования NeRF ценны для AD, особенно при использовании предложенного нами метода для повышения надежности модели восприятия. Более того, данные NeRF не только помогают тестировать системы AD на смоделированных данных, но также помогают повысить производительность моделей восприятия на реальных данных.

###

以上是“真假難辨”！巧用NeRF產生的自動駕駛模擬數據的詳細內容。更多資訊請關注PHP中文網其他相關文章！