ICML 2024 | 訊號表徵指數級強、記憶體節省超35%，量子隱式表徵網路來了

AIxiv專欄是本站發布學術、技術內容的欄位。過去數年，本站AIxiv專欄接收通報了2,000多篇內容，涵蓋全球各大專院校與企業的頂尖實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或聯絡報道。投稿信箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本文作者是天津大學智慧與計算學部張生趏教授及其碩士生蓏。此研究工作由國家自然科學基金委、天津大學 - 中科聞歌聯合實驗室資助。

• 論文標題：Quantum Implicit Neural Representations
• 論文作者：Jiaming Zhao, Wenbo Qiao, Peng Zhangd, Gaivo /2406.03873

引言

天津大學量子表徵團隊表徵與語言功能表徵團隊
uantum I

mplicit

Representation Network, QIREN）。與經典神經網路方法相比，此方法在理論上具有指數級強的訊號表徵能力。實驗結果也證實了 QIREN 的確表現出超越訊號表示任務上 SOTA 模型的優異性能，在參數量較少的情況下，擬合誤差最多減少 35%。圖 1 中展示了本文的核心思想和主要結論。 相關論文已經被機器學習領域最權威的會議之一 ICML 2024 接收。                                 圖中使用 1. 中量子化立葉神經網路與量子傅立葉神經網路與量子傅立神經網路。

近年來，隱式神經表徵作為一種新興的信號表徵方式引起了廣泛關注。與傳統的離散網格表示（例如以像素網格表示的圖像）相比，隱式神經表徵具有許多獨特的優勢。首先，它具備"無限分辨率"的能力，可以在任意空間分辨率下進行採樣。其次，隱式神經表徵具有出色的儲存空間節省，為資料儲存提供了便利。正因為這些獨特的優勢，隱式神經表徵迅速成為表示影像、物件和3D場景等訊號的主流範式。大多數關於隱式神經表徵的早期研究都建立在基於ReLU的多層感知器（MLP）之上。然而，基於ReLU的MLP難以精確建模訊號的高頻部分，如圖2所示。最近的研究已經開始探索使用傅立葉神經網路（FNN）來克服這個限制。然而，面對現實應用中越來越複雜的擬合任務，經典傅立葉神經網路也需要越來越多的訓練參數，這增加了對運算資源的需求。本文提出的量子隱式神經表徵利用了量子優勢從而能夠減少參數和計算消耗，這種解決方案能夠為隱式神經表徵甚至機器學習領域帶來新的啟發。

                            LU  圖 2. 真實影像的不同頻率（上）與對 Re

模型

                               ^{圖 3. 模式架構中}

QIREN 的整體架構如圖 3 所示，由 N 個混合層和末端的線性層組成。此模型以座標作為輸入並輸出訊號值。資料最初進入混合層，從 Linear 層和 BatchNorm 層開始，得到：

然後輸入到資料重新上傳量子電路 QC 中。在圖 2 (b) 和 (c) 中，我們給出了參數層和編碼層量子電路的具體實現。參數層由 K 個堆疊塊組成。每個區塊包含應用於每個量子位元的旋轉門，以及以循環方式連接的 CNOT 閘。編碼層在每個量子位元上應用閘。最後，我們測量了量子態相對於可觀測量的期望值。量子電路的輸出由下式給出：

其中 O 表示任意可觀測量。第 n 個混合層的輸出將被用作第（n+1）層的輸入。最後，我們添加一個線性層以接收並輸出。我們使用均方誤差（MSE）作為損失函數來訓練模型：

模型理論分析

在一些先前的研究中，數據重上傳量子線路的數學性質已經被揭示，本質上數據重上傳量子線路是以傅立葉級數的形式擬合目標函數。但先前的工作只探索了多層單量子位元線路或單層多量子位元線路，並且沒有與經典方法進行比較，沒有找到資料重上傳量子線路的優勢。我們將研究擴展到多層多量子位元線路。此外，我們證明了在隱式神經表徵領域，以數據重上傳量子線路為核心組件的混合量子神經網路 QIREN 相比經典方法有著指數級優勢。我們分析了QIREN 中的量子層和經典層的作用並將其歸納為以下三點：

1. 在最佳條件下，數據重上傳量子電路表示傅立葉級數的能力隨著電路的大小呈指數成長。

具體推導見論文 4.2 和 4.3 節。

2. 線性層的作用是進一步擴展頻譜和調整頻率，從而提高擬合性能。

在將資料上傳到量子電路之前應用線性層相當於調整編碼層哈密頓量的本徵值，最終影響頻譜。這種方法有兩個優點。首先，它可以使頻譜更大。僅用門編碼時頻譜中會產生一些冗餘項。這種冗餘可以透過使用線性層來減少。其次，它使頻譜的覆蓋範圍可以調整，旨在覆蓋更重要的係數更大的頻率。因此，加入線性層可以進一步提高 QIREN 的擬合性能。

3. Batchnorm 層的作用是加速量子模型的收斂。

在前饋神經網路中，資料通常在激活函數之前通過 BatchNorm 層，這有效地防止了消失梯度問題。類似地，在 QIREN 中，量子電路取代了激活函數，並在提供非線性方面發揮作用（量子電路本身是線性的，但將經典數據上傳到量子電路的過程是非線性的）。因此，我們在這裡加入了 BatchNorm 層，目的是穩定和加速模型的收斂性。

我們透過影像表示和聲音表示任務驗證了 QIREN 在表示訊號，特別是高頻訊號方面的優越性能。實驗結果如表 1 所示。 QIREN 和 SIREN 在聲音表示任務上表現出相似的表現。儘管這兩個模型的性能似乎是可比較的，但值得強調的是，我們的模型以最少的參數實現了35.1% 的內存節省，並且SIREN 的收斂需要設置合適的超參數，而我們的模型沒有這種限制。然後，我們從頻率的角度分析了模型的輸出。我們在圖 4 中可視化了模型輸出的頻譜。很明顯，模型輸出的低頻分佈都接近真實情況。然而，當涉及高頻分佈時，QIREN 和 SIREN 都擬合得很好，其次是具有隨即傅立葉特徵（RFF）的基於 ReLU 的 MLP。基於 ReLU 和基於 Tanh 的 MLP 甚至缺乏訊號的高頻部分。

表 1. 模型在訊號表示和影像超解析度任務上的 MSE（）。被認為是 SOTA 的模型標有 *。 params 表示模型參數量，mem 表示與離散網格表示相比，模型節省的記憶體。

                              4. IREN 在影像表示任務中以最少的參數實現了最佳性能，與SOTA 模型相比，誤差最大減少了34.8%。為了進一步探討模型的訊號表示能力，我們使用濾波器來分離其輸出的高頻和低頻分量，並分別比較這兩個分量的擬合誤差，結果如圖 5 所示。 QIREN 在擬合高頻和低頻成分時始終實現了最低的誤差。

                                ^{圖 5. 與以 Tanh 為基礎的 MLP 相比，每個模型的相對誤差。陰影區域表示低頻誤差，而非陰影區域表示高頻誤差。}

最新的研究引入了一個突破性的框架將隱式神經表徵擴展到影像生成。更具體地說，該框架利用以隨機分佈為輸入的超網絡來產生隱式表徵網絡的參數。隨後，這些產生的參數被分配給隱式表徵網路。最後，隱式表徵網路以座標為輸入產生影像。採用對抗性方法來確保生成的圖像與我們期望的結果一致。在這項任務中，我們採用了這樣一個框架，並建立在 StyleGAN2 的基礎上。

實驗結果如表 2 所示。我們也進一步探索了 QIREN 產生器的一些令人興奮的特性，如圖 6 和 7 所示。

                             

                     

                             圖7. 有意義的影像空間內插

🎜🎜🎜🎜🎜🎜🎜這項工作不僅將量子優勢融入隱式神經表示中，也為量子神經網路開闢了一個有前景的應用方向— 隱式神經表徵。值得強調的是，隱式神經表徵還有許多其他潛在的應用，例如表示場景或 3D 物件、時間序列預測和求解微分方程式。對於一大類對連續訊號建模的任務，我們都可以考慮引入隱式表徵網路作為基本組件。基於本文的理論和實驗基礎，我們可以在未來的工作中將 QIREN 擴展到這些應用中，並且 QIREN 預計將在這些領域中以更少的參數產生更好的結果。同時，我們為量子機器學習找到了一個合適的應用場景。從而促進量子機器學習社群內進一步的實踐和創新研究。 🎜

以上是ICML 2024 | 訊號表徵指數級強、記憶體節省超35%，量子隱式表徵網路來了的詳細內容。更多資訊請關注PHP中文網其他相關文章！