自然語言融入NeRF，給點文字就產生3D圖的LERF來了

NeRF（Neural Radiance Fields）又稱神經輻射場，自從被提出以來，火速成為最為熱門的研究領域之一，效果非常驚艷。然而，NeRF 的直接輸出只是一個彩色的密度場，對研究者來說可用資訊很少，缺乏上下文就是需要面對的問題之一，其效果是直接影響了與 3D 場景互動介面的建構。

但自然語言不同，自然語言與 3D 場景互動非常直覺。我們可以用圖 1 中的廚房場景來解釋，透過詢問餐具在哪，或詢問用來攪拌的工具在哪，以這種方式就可以在廚房裡找到物體。不過完成這項任務不僅需要模型的查詢能力，還需要能夠在多個尺度上合併語意等。

本文中，來自UC 柏克萊的研究者提出了一種新穎的方法，並命名為LERF（Language Embedded Radiance Fields），該方法將CLIP（Contrastive Language-Image Pre -training）等模型中的語言嵌入到NeRF 中，使得這些類型的3D 開放式語言查詢成為可能。 LERF 直接使用 CLIP，無需透過 COCO 等資料集進行微調，也不需要依賴遮罩區域建議。 LERF 在多個尺度上保留了 CLIP 嵌入的完整性，也能夠處理各種語言查詢，包括視覺屬性（如黃色）、抽象概念（如電流）、文字等，如圖 1 所示。

論文網址：https://arxiv.org/pdf/2303.09553v1.pdf

專案首頁：https://www.lerf.io/

LERF 可以即時互動地為語言提示擷取3D 相關圖示。例如在一張有小羊和水杯的桌上，輸入提示小羊、或水杯，LERF 就可以給相關3D 圖：

對於複雜的花束，LERF 也可以精準定位：

# 廚房中的不同物體：

方法

研究透過與NeRF 共同最佳化語言場建構了新方法LERF。 LERF 將位置和物理尺度作為輸入並輸出單一 CLIP 向量。在訓練期間，場（field）使用多尺度特徵金字塔（pyramid）進行監督，該金字塔包含從訓練視圖的圖像裁剪（crop）生成的 CLIP 嵌入。這允許 CLIP 編碼器捕捉不同尺度的圖像語境，從而將相同的 3D 位置與不同尺度的語言嵌入相關聯。 LERF 可以在測試期間以任意尺度查詢語言場以獲得 3D 相關性映射。

由於從多尺度的多個視圖中提取CLIP 嵌入，因此透過LERF 的3D CLIP 嵌入獲得的文字查詢的相關性映射與透過2D CLIP 嵌入獲得的相比更加本地化（localized），並且是3D 一致的，可以直接在3D 場中進行查詢，而無需渲染多個視圖。

LERF 需要在以樣本點為中心的體積上學習語言嵌入場。具體來說，該場的輸出是包含指定體積的影像裁切的所有訓練視圖的平均 CLIP 嵌入。透過將查詢從點重構為體積，LERF 可以有效地從輸入影像的粗略裁剪中監督密集場，這些影像可以透過在給定的體積尺度上進行調節以像素對齊的方式呈現。

LERF 本身會產生連貫的結果，但產生的相關性映射有時可能是不完整的，並且包含一些異常值，如下圖 5 所示。

為了規範優化的語言場，該研究透過共享瓶頸引入了自監督的 DINO。

在架構方面，優化3D 中的語言嵌入不應該影響底層場景表徵中的密度分佈，因此該研究透過訓練兩個獨立的網路來捕捉LERF 中的歸納偏置（inductive bias）：一個用於特徵向量（DINO、CLIP），另一個用於標準NeRF 輸出（顏色、密度）。

實驗

為了展示LERF 處理真實世界資料的能力，研究收集了13 個場景，其中包括雜貨店、廚房、書店、小雕像等場景。圖 3 選擇了 5 個代表性的場景，展示了 LERF 處理自然語言的能力。

圖3

圖3

圖7 為LERF 與LSeg 的3D 視覺對比，在標定碗裡的雞蛋中，LSeg 不如LERF：

##圖8 表明，在有限的分割數據集上訓練的LSeg 缺乏有效表示自然語言的能力。相反，它僅在訓練集分佈範圍內的常見物件上表現良好，如圖 7 所示。

######不過LERF 方法不算完美，以下為失敗案例，例如在標定西葫蘆蔬菜時，會出現其他蔬菜：#### ###########

以上是自然語言融入NeRF，給點文字就產生3D圖的LERF來了的詳細內容。更多資訊請關注PHP中文網其他相關文章！