將球面深度學習擴展到高解析度輸入數據

譯者 | 朱先忠

審校 | 孫淑娟

傳統的球面CNN無法擴展到高解析度分類任務。在本文中，我們介紹了球面散射層（spherical scattering layers）－一種新型的球面層，它可以降低輸入資料的維數，同時保留相關訊息，同時還具有旋轉等變的特性。

散射網路透過使用小波分析中預先定義的捲積濾波器進行工作，而不是從頭開始學習卷積濾波器。由於散射層的權重是專門設計的而不是透過學習得到的，因此散射層可以用作一次性預處理步驟，從而降低輸入資料的解析度。我們以往的經驗表明，配備初始散射層的球面CNN可以擴展到數千萬像素的分辨率，這項壯舉以前在傳統球面CNN層中是難以實現的。

傳統球面深度學習方法需要計算

球面CNN（文獻1，2，3）對於解決機器學習中的多種不同類型的問題都非常有用，因為這其中許多問題的資料來源不能自然地在平面上表示（有關這方面的入門性介紹，請參閱我們的前一篇文章，地址是：https://towardsdatascience.com/geometric- deep-learning-for-spherical-data-55612742d05f）。

球面CNN的一個關鍵特性是，它們與球面資料的旋轉是等變的（在本文中，我們將重點放在旋轉等變方法）。實際上，這意味著球面CNN具有令人印象深刻的泛化特性，允許它們執行諸如分類3D物件網格之類的操作，而不管它們是如何旋轉的（以及它們在訓練期間是否看到網格的不同旋轉）。

我們在最近#發佈的文章中描述了 #Kagenova團隊為提高球面CNN的運算效率而開發的一系列進展成果（參考位址：https://towardsdatascience.com/efficient-generalized-spherical-cnns-1493426362ca）。我們所採用的方法－高效的廣義球面CNN－既保留了傳統球面CNN的等方差特性，同時又使得計算效率更高（文獻1）。然而，儘管在計算效率方面取得了這些進步，球面CNN仍然局限於相對低解析度的數據。 這意味著，球面CNN目前也不能應用於通常涉及更高解析度資料的激動人心的應用場景中，例如宇宙學資料分析與虛擬實境的360度電腦視覺等領域。在最近發布的一篇文章中，我們介紹了球面散射層網絡，以便靈活調整高效的通用球面CNN 來提高解析度（文獻4），在本文中我們將對該內容進行回顧。

支援高解析度輸入資料的混合方法

在開發高效能的通用球面CNN（文獻1）時，我們發現了一個非常有效的建構球面CNN架構的混合方法。混合球面CNN可以在同一網路中使用不同風格的球面CNN層，讓開發人員在不同處理階段獲得不同類型層的好處。

上圖展示了混合球面CNN架構範例圖（請注意：這些層不是單一的，而是一些不同風格的球面CNN層）。

球面上的散射網路繼續採用這種混合方法，並引入了一種新的球面CNN層，可以插入現有的球面架構中。為了將高效率的通用球面CNN擴展到更高維度，這新層需要具備以下特徵：

1. #計算支援下的可擴展性
2. #將資訊混合到低頻，以允許後續層以低解析度運行
3. #旋轉等變
4. ##提供穩定和局部不變的表示（即提供有效的表示空間）

我們確定散射網路層具有滿足所有上面列舉的這些特徵的潛力。

球面上的散射網路

由Mallat（文獻5）在歐幾里德環境中首次提出的散射網路可以被視為具有固定卷積濾波器的CNN，這些濾波器是從小波分析中導出的。散射網路已被證明對傳統（歐氏）電腦視覺非常有用，尤其是在數據有限的情況下——而在這種情況下學習卷積濾波器是比較困難的。接下來，我們簡要討論一下散射網路層的內部工作原理、它們如何滿足上一節中定義的要求以及如何開發它們用於球面資料分析。

散射層內的資料處理由三個基本運算執行。第一個構建塊是固定小波卷積，它類似於歐氏CNN中使用的正常學習卷積。在小波卷積之後，散射網路對結果表示應用模數非線性方法。最後，散射利用了一個縮放函數，該函數執行了一種局部平均演算法，與普通CNN中的池化層有一些相似之處。重複應用這三個構建塊就會將輸入資料分散到計算樹中，並在不同的處理階段將結果表示（類似CNN頻道）從樹中提取出來。這些操作的簡略示意圖如下。

此圖示意了球面訊號f的球面散射網路。訊號透過級聯球面小波轉換傳播，並結合紅色節點表示的絕對值激活函數。散射網路的輸出是透過將這些訊號投影到球面小波縮放函數上得到的，從而得到用藍色節點表示的散射係數。

從傳統的深度學習觀點來看，分散網路的操作似乎有些模糊。然而，所描述的每種計算操作都有一個特定的目的——旨在利用小波分析的可靠的理論結果。

散射網路中的小波卷積是經過仔細推導的，以便從輸入資料中提取相關資訊。例如，對於自然影像，小波被定義為專門提取與高頻的邊緣和低頻的物體普通形狀相關的資訊。因此，在平面設定中，散射網路濾波器可能與傳統的CNN濾波器有一些相似之處。這也適用於球面設置，我們使用尺度離散小波（scale-discretised wavelets，詳見文獻4）。

由於小波濾波器是固定的，初始散射層只需要應用一次，而不需要在整個訓練過程中重複應用（如傳統CNN中的初始層）。這使得散射網路在計算上具有可擴展性，滿足上面特徵1的要求。此外，散射層降低了其輸入資料的維度，這意味著在訓練下游CNN層時，只需要使用有限的儲存空間來快取散射表示。

小波卷積後面採用的是模數非線性方法。首先，這為神經網路層注入了非線性特徵。其次，模數運算將輸入訊號中的高頻資訊混合到低頻資料中，滿足上面的要求2。下圖顯示了模數非線性計算前後資料的小波表示的頻率分佈。

上圖展示了在模運算前後不同球面頻率l處小波係數的分佈。輸入訊號中的能量從高頻（左側面板）移動到低頻（右側面板）。其中，f是輸入訊號，Ψ代表縮放j的小波。

應用模數計算後，將得到的訊號投影到縮放函數上。縮放函數從表示結果中提取低頻訊息，類似於傳統CNN中的池化函數操作。

我们对球面散射网络的理论上的等方差特性进行了经验测试。测试是通过旋转信号并将其通过散射网络馈送，然后将得到的结果表示与输入数据通过散射网络后再进行旋转计算的结果表示进行比较。由下表中的数据可以证明给定深度的等方差误差较低，因此满足上述要求3（通常在实践中，一个路径深度不会超过两个路径的深度，因为大多数信号能量已经被捕获）。

不同深度球面散射网络的旋转等方差误差

最后，从理论上证明了欧氏散射网络对小的微分或畸变是稳定的（文献5）。目前，这个结果已经推广到紧致黎曼流形上的散射网络（文献6），特别是球面环境（文献4）。在实践中，对差异形态的稳定性意味着，如果对输入进行轻微更改，散射网络计算的表示不会有显著差异（关于稳定性在几何深度学习中的作用的讨论，请参阅我们之前的帖子，地址是https://towardsdatascience.com/a-brief-introduction-to-geometric-deep-learning-dae114923ddb）。因此，散射网络提供了一个表现良好的表示空间，在该空间上可以有效地进行随后的学习，满足上述第4项要求。

可缩放和旋转等变的球面CNN

考虑到引入的散射层满足我们所有想要的特性，接下来我们准备将它们集成到我们的混合球面CNN中。如前所述，散射层可以作为初始预处理步骤固定到现有架构上，以减小后续球面层处理的表示的大小。

在上图中，散射层模块（虚线左侧）是一个设计层。这意味着，它不需要训练，而其余层（虚线右侧）是可训练的。因此，这意味着散射层可以作为一次性预处理步骤应用，以降低输入数据的维数。

由于散射网络具有给定输入的固定表示，因此散射网络层可以在训练开始时应用于整个数据集一次，并缓存生成的低维表示以训练后续层。幸运的是，散射表示具有降低的维度，这意味着存储它们所需的磁盘空间相对较低。由于存在这个新的球面散射层，所以可以把高效的广义球面CNN扩展到高分辨率分类问题领域。

宇宙微波背景各向异性的分类

物质在整个宇宙中是如何分布的？这是宇宙学家的一个基本研究问题，对我们宇宙的起源和演化的理论模型具有重大意义。宇宙微波背景辐射（CMB）——来自大爆炸的残余能量——描绘了宇宙中物质的分布。宇宙学家在天球上观察CMB，这需要能够在天球内进行宇宙学分析的计算方法。

宇宙学家对分析宇宙微波背景的方法非常感兴趣，因为这些方法能够检测宇宙微波背景在整个空间的分布中的非高斯性，这对早期宇宙理论具有重要意义。这种分析方法还需要能够扩展到天文分辨率。我们通过将CMB模拟分为高斯或非高斯，分辨率为L=1024，证明了我们的散射网络能够满足这些要求。散射网络成功地将这些模拟分类，准确度为95.3%，比低分辨率传统球面CNN的53.1%要好得多。

上图给出高斯和非高斯类CMB的高分辨率模拟示例，用于评估球面散射网络扩展到高分辨率的能力。

總結

在本文中，我們探討了球面散射層能夠壓縮其輸入表示的維度，同時也保留下游任務的重要資訊。我們已經證明，這使得散射層對於高解析度的球面分類任務非常有用。這為以前難以解決的例如宇宙學資料分析和高解析度360影像/視訊分類等潛在應用打開了大門。然而，許多例如分割或深度估計這樣的需要密集預測的電腦視覺問題都需要高維輸出和高維輸入。最後，如何開發可控制的既可以增加輸出表示維度同時又能夠保持等方差的球面CNN層，這是Kagenova開發人員目前研究的主題。這些內容將在下一篇文章中介紹。

參考文獻

［1］Cobb, Wallis, Mavor-Parker, Marignier, Price, d'Avezac, McEwen, Efficient Generalised Spherical CNNs, ICLR (2021) , arXiv:2010.11661

［2］ Cohen, Geiger, Koehler, Welling, Spherical CNNs, ICLR (2018), arXiv:1801.10130

［3］ Esteves, Allen-Blanchette, Makadia, Daniilidis, Learning SO(3) Equivariant Representations with Spherical CNNs, ECCV (2018), arXiv:1711.06721

##Oj白, Wallis, Christopher and Mavor-Parker, Augustine N., Scattering Networks on the Sphere for Scalable and Rotationally Equivariant Spherical CNNs, ICLR (2022), arXiv:2102.02828

白#日#5> , Joan, and Stéphane Mallat, Invariant scattering convolution networks, IEEE Transaction on Pattern Analysis and Machine Intelligence (2013)

#［6］ Perlmutter, Michael, et al., Geometric

##［6］ Perlm, Michael, et al., Geometric

##［6］ Perlm on compact Riemannian manifolds, Mathematical and Scientific Machine Learning. PM​​LR (2020), arXiv:1905.10448

譯者介紹

朱忠，51CTO#譯者介紹朱忠，51CTO#譯者介紹、##朱忠，51CTO社群編輯，51CTO專家講師，濰坊一所大學電腦教師，自由程式設計界老兵一枚。

原文標題：################Scaling Spherical Deep Learning to High-Resolution Input Data###### ##########，作者：Jason McEwen，Augustine Mavor-Parker#########

以上是將球面深度學習擴展到高解析度輸入數據的詳細內容。更多資訊請關注PHP中文網其他相關文章！