中科院軟體所發表效能超越ViT的全新CV模型ViG，未來成為圖神經網路的代表？

電腦視覺的網路結構又要迎來革新了？

從卷積神經網路到帶有註意力機制的視覺Transformer，神經網路模型都是把輸入影像視為一個網格或是patch序列，但這種方式無法捕捉到變化的或複雜的物體。

例如人在觀察圖片的時候，就會很自然地將整個圖片分成多個物體，並在物體間建立空間等位置關係，也就是說整張圖片對於人腦來說其實是一張graph，物體是graph上的節點。

 

 最近中科院軟體研究所、華為諾亞方舟實驗室、北京大學、澳門大學的研究人員共同提出了一個全新的模型架構Vision GNN (ViG)，能夠從影像中抽取graph-level的特徵用於視覺任務。

論文連結：https://arxiv.org/pdf/2206.00272.pdf

首先需要將圖像分割成若干個patch作為圖中的節點，並透過連接最近的鄰居patch來建立一個graph，然後使用ViG模型對整個圖中所有節點的資訊進行變換（transform）和交換（exchange）。

ViG 由兩個基本模組組成，Grapher模組用graph卷積來聚合和更新圖形訊息，FFN模組用兩個線性層來變換節點特徵。

在影像辨識和物體偵測任務上進行的實驗也證明了ViG架構的優越性，GNN在一般視覺任務上的開創性研究將為未來的研究提供有益的啟發和經驗。

論文作者為吳恩華教授，中國科學院軟體研究所博士生導師、澳門大學榮譽教授，1970年本科畢業於清華大學工程力學數學系，1980年博士畢業於英國曼徹斯特大學計算機科學系。主要研究領域為電腦繪圖與虛擬實境, 包括: 虛擬實境、真實感圖形生成、 基於物理的模擬與即時計算、 基於物理的建模與繪製、 影像與視訊的處理與建模、 視覺計算與機器學習。

視覺GNN

網路結構往往是提升效能最關鍵的要素，只要能保證資料量的數量和質量，把模型從CNN換到ViT，就能得到一個效能更佳的模型。

但不同的網路對輸入影像的處理方式也不同，CNN在影像上滑動窗口，引入平移不變性和局部特徵。

而ViT和多層感知機（MLP）則是將影像轉換為一個patch序列，例如把224×224的影像分成若干個16×16的patch，最後形成一個長度為196的輸入序列。

 圖神經網路則更靈活，例如在電腦視覺中，一個基本任務是辨識影像中的物件。由於物體通常不是四邊形的，可能是不規則的形狀，所以之前的網路如ResNet和ViT中常用的網格或序列結構是多餘的，處理起來不靈活。

一個物體可以被看作是由多個部分組成的，例如，一個人可以大致分為頭部、上半身、手臂和腿。

這些由關節連接的部分很自然地形成了一個圖形結構，透過分析圖，我們最後才能夠辨識出這個物體可能是個人類別。

此外，圖是一種通用的資料結構，網格和序列可以被視為圖的一個特例。將圖像視為一個圖，對於視覺感知來說更加靈活和有效。

使用圖結構需要將輸入的圖像劃分為若干個patch，並將每個patch視為一個節點，如果將每個像素視為一個節點的話就會導致圖中節點數量過多（ >10K）。

 建立graph後，先透過一個圖卷積神經網路（GCN）聚合相鄰節點間的特徵，並抽取影像的表徵。

 為了讓GCN獲得更多樣性的特徵，作者將圖卷積應用multi-head操作，聚合的特徵由不同權重的head更新，最後級聯為圖像表徵。

 先前的GCN通常重複使用幾個圖卷積層來提取圖資料的聚合特徵，而深度GCN中的過度平滑現象則會降低節點特徵的獨特性，導致視覺識別的性能下降。

 為了緩解這個問題，研究人員在ViG區塊中引入了更多的特徵轉換和非線性激活函數。

首先在圖卷積的前後應用一個線性層，將節點特徵投射到同一域中，增加特徵多樣性。在圖形卷積之後插入一個非線性激活函數以避免層崩潰。

 為了進一步提升特徵轉換能力，緩解過度平滑現象，也需要在每個節點上利用前饋網路（FFN）。 FFN模組是一個簡單的多層感知機，有兩個全連接的層。

 

 在Grapher和FFN模組中，每個全連接層或圖卷積層之後都要進行batch normalization，Grapher模組和FFN模組的堆疊構成了一個ViG塊，也是建構大網路的基本單元。

與原始的ResGCN相比，新提出的ViG可以保持特徵的多樣性，隨著加入更多的層，網路也可以學習到更強的表徵。

在電腦視覺的網路架構中，常用的Transformer模型通常有一個等向性（Isotropic）的結構（如ViT），而CNN則更傾向於使用金字塔結構（如ResNet）。

為了與其他類型的神經網路進行比較，研究人員為ViG同時建立了等向性和金字塔的兩種網路架構。

 在實驗比較階段，研究人員選擇了影像分類任務中的ImageNet ILSVRC 2012資料集，包含1000個類別，120M的訓練影像和50K的驗證影像。

目標偵測任務中，選擇了有80個目標類別的COCO 2017資料集，包含118k個訓練圖片和5000個驗證集圖片。

 在等向性的ViG架構中，其主要運算過程中可以保持特徵大小不變，易於擴展，對硬體加速友善。在將其與現有的等向性的CNN、Transformer和MLP進行比較後可以看到，ViG比其他類型的網路表現得更好。其中ViG-Ti實現了73.9%的top-1準確率，比DeiT-Ti模型高1.7%，而計算成本相似。

 金字塔結構的ViG中，隨著網路的加深逐漸縮小了特徵圖的空間大小，利用影像的尺度不變量特性，同時產生多尺度的特徵。

高效能的網路大多採用金字塔結構，如ResNet、Swin Transformer和CycleMLP。在將Pyramid ViG與這些代表性的金字塔網路進行比較後，可以看到Pyramid ViG系列可以超越或媲美最先進的金字塔網路包括CNN、MLP和Transfomer。

結果表明，圖神經網路可以很好地完成視覺任務，並有可能成為電腦視覺系統中的一個基本組成部分。

 為了更能理解ViG模型的工作流程，研究者將ViG-S中所建構的圖結構視覺化。在兩個不同深度的樣本（第1和第12塊）的圖。五角星是中心節點，具有相同顏色的節點是其鄰居。只有兩個中心節點是可視化的，因為如果繪製所有的邊會顯得很混亂。

 可以觀察到，ViG模型可以選擇與內容相關的節點作為第一階鄰居。在淺層，鄰居節點往往是根據低層次和局部特徵來選擇的，如顏色和紋理。在深層，中心節點的鄰居更具語義性，屬於同一類別。 ViG網路可以透過其內容和語意表徵逐漸將節點連結起來，幫助更好地辨識物體。

以上是中科院軟體所發表效能超越ViT的全新CV模型ViG，未來成為圖神經網路的代表？的詳細內容。更多資訊請關注PHP中文網其他相關文章！