單幀標註影片就能學到片段特徵，達到全監督性能！華科拿下時序行為檢測新SOTA

如何從一段影片中找出感興趣的片段？時序行為偵測（Temporal Action Localization，TAL）是一種常用方法。

利用影片內容建模之後，就可以在整段影片當中自由搜尋了。

而華中科技大學與密西根大學的聯合團隊最近又為這項技術帶來了新的進展——

過去TAL中的建模是片段甚至實例級的，而現在只要影片裡的一幀就能實現，效果媲美全監督。

來自華中科技大學的團隊提出了一個名為HR-Pro的新框架，用於點標註監督的時序行為檢測。

透過多層級的reliability propagation，HR-Pro可以網路學習到更具辨別力的片段級特徵和更可靠的實例級邊界。

HR-Pro由兩個可靠性感知的階段組成，它能夠有效地從片段層級和實例層級的點標註中傳播高置信度的線索，從而使網路學習到更具區分性的片段表示和更可靠的提議。

在多個基準資料集上進行的實驗表明，HR-Pro優於現有方法，結果最先進，證明了其有效性和點標註的潛力。

表現比肩全監督方式

下圖展示了HR-Pro與LACP在THUMOS14測試影片上進行時序行為檢測表現比較。

HR-Pro展現出更了準確的動作實例檢測，具體來說：

• 對於「高爾夫揮桿」行為，HR-Pro有效地區分了行為和背景片段，減輕了LACP難以處理的False Positive預測；
• 對於鐵餅投擲行為，HR-Pro檢測到比LACP更完整的片段，後者在非區分性動作片段上具有較低的激活值。

資料集上的測試結果，也印證了這一直觀感受。

將THUMOS14資料集上的檢測結果視覺化後可以觀察到，在實例層級完整性學習之後，高品質預測和低品質預測之間的差異顯著增大。

（左側是實例層級完整性學習之前的結果，右側是學習之後的結果。橫軸和縱軸分別表示時間和可靠性分數。）

整體來看，在常用4個資料集中，HR-Pro的效能都大幅超越最先進的點監督方法，在THUMOS14資料集上的平均mAP達到60.3%，相較之前的SoTA方法(53.7%)的提升為6.5%，並且能與一些全監督方法達到相當的效果。

在THUMOS14測試集上與下表中的先前最先進方法相比，對於IoU閾值在0.1到0.7之間，HR-Pro的平均mAP為60.3%，比先前最先進方法CRRC- Net高6.5%。

且HR-Pro能夠與具有競爭力的全監督方法達到相當的表現，例如AFSD（對於IoU閾值在0.3到0.7之間，平均mAP為51.1% vs. 52.0%）。

△HR-Pro與前SOTA方法在THUMOS14資料集上的比較

在各種基準資料集上的通用性和優越性方面，HR-Pro也明顯優於現有方法，在GTEA、BEOID和ActivityNet 1.3上分別取得了3.8%、7.6%和2.0%的提高。

△HR-Pro與前SOTA方法在GTEA等資料集上的比較

那麼，HR-Pro具體是如何實現的呢？

學習分兩階段進行

研究團隊提出了多層級可靠傳播方法，在片段級引入可靠片段記憶模組並利用交叉注意力的方法向其他片段傳播，在實例級提出基於點監督的提議產生來關聯片段和實例，用於產生不同可靠性的proposals，進一步在實例層級優化proposals的置信度和邊界。

HR-Pro的模型架構如下圖所示：時序行為偵測被分割為兩階段的學習過程，即片段層級的判別性學習和實例層級的完整性學習。

階段一：片段級判別學習

研究團隊引入可靠性感知的片段級判別學習，提出為每個類別儲存可靠原型，並透過影片內和視訊間的方式將這些原型中的高置信度線索傳播到其他片段。

片段級可靠原型建構

為了建立片段層級的可靠原型，團隊創建了一個線上更新的原型memory，用於儲存各類行為的可靠原型mc（其中c = 1, 2, …, C），以便能夠利用整個資料集的特徵資訊。

研究團隊選擇了具有點標註的片段特徵初始化原型：

#接下來，研究人員使用偽標記的行為片段特徵來更新每個類別的原型，具體表述如下：

片段級可靠性感知最佳化

為了將片段級可靠原型的特徵資訊傳遞到其他片段，研究團隊設計了一個Reliabilty-aware Attention Block（RAB），透過交叉注意力的方式實現了將原型中的可靠資訊注入到其他的片段中，從而增強片段特徵的魯棒性，並增加對較不具判別力片段的關注。

為了學習到更有判別裡的片段特徵，團隊也建構了可靠性感知的片段對比損失：

階段二：實例層級完整性學習

為了充分探索實例層級行為的時序結構並優化提議的得分排名，團隊引入了實例層級的動作完整性學習。

這種方法旨在透過可靠的實例原型的指導，透過實例層級的特徵學習來精化提議的置信度分數和邊界。

實例層級可靠原型建構

為了在訓練過程中利用點標註的實例層級先驗訊息，團隊提出了一種基於點標註的提議生成方法用於產生不同Reliability的proposals。

根據其可靠性分數和相對點標註的時序位置，這些提議可以分為兩種類型：

• 可靠提議（Reliable Proposals, RP ）：對於每個類別中的每個點，提議包含了這個點，並具有最高的可靠性；
• 正樣本提議（Positive Proposals, PP）：所有其餘的候選提議。

為確保正樣本和負樣本數量平衡，研究團隊將那些具有類別無關的注意力分數低於預定義值的片段分組為負樣本提議（Negative Proposals, NP）。

實例層級可靠性感知最佳化

為了預測每個提議的完整性分數，研究團隊將敏感邊界的提議特徵輸入至得分預測頭φs:

然後用正/負樣本提議與可靠提議的IoU作為指導，監督提議的完整性分數預測：

為了獲得更準確邊界的行為proposal，研究者將每個PP中的proposal的起始區域特徵和結束區域特徵輸入到回歸預測頭φr中，以預測proposal開始和結束時間的偏移量。

進一步計算得到精細化的proposals，並希望精細化後的proposals與可靠proposal重疊。

#

總之，HR-Pro只需很少的標註就能很好的效果大幅度降低了取得標籤的成本，同時又擁有較強的泛化能力，為實際部署應用提供了有利條件。

據此，作者預計，HR-Pro將在行為分析、人機互動、駕駛分析等領域擁有廣闊的應用前景。

論文網址：https://arxiv.org/abs/2308.12608

以上是單幀標註影片就能學到片段特徵，達到全監督性能！華科拿下時序行為檢測新SOTA的詳細內容。更多資訊請關注PHP中文網其他相關文章！