Google、MIT「迭代共同認證」視訊問答模型：SOTA效能，算力少用80%

影片是一種無所不在的媒體內容來源，涉及人們日常生活的許多方面。越來越多的現實世界的視訊應用，如視訊字幕、內容分析和視訊問答（VideoQA），都依賴能夠將視訊內容與文字或自然語言聯繫起來的模型。

 其中，視訊問答模型尤其具有挑戰性，因為它需要同時掌握語義訊息，例如場景中的目標，以及時間訊息，例如事物如何移動和互動。這兩種訊息都必須在擁有特定意圖的自然語言問題的背景下進行。 此外，由於影片有許多幀，處理全部的幀來學習時空訊息，可能在計算上成本過高。

論文連結：https://arxiv.org/pdf/2208.00934.pdf 為了解決這個問題，在“Video Question Answering with Iterative Video-Text Co-Tokenization”一文中，谷歌和MIT的研究人員介紹了一種視頻-文本學習的新方法，稱為“迭代共同標記”，能夠有效地融合空間、時間和語言訊息，用於視訊問答的訊息處理。

  

#這種方法是多流的，用獨立的骨幹模型處理不同規模的視頻，產生捕捉不同特徵的視頻表示，例如高空間分辨率或長時間的視頻。 模型應用「共同認證」模組，從視訊串流與文字的整合中學習有效表示。模型計算效率很高，只需67GFLOPs，比以前的方法至少低了50%，同時比其他SOTA的模型有更好的性能。

影片-文字迭代

此模型的主要目標是從影片和文字（即使用者問題）產生特徵，共同允許它們的對應輸入進行互動。第二個目標是以有效的方式做到這一點，這對影片來說非常重要，因為它們包含幾十到幾百幀的輸入。

 該模型學會了將視訊-語言的共同輸入標記為較小的標記集，以聯合且有效地代表兩種模式。在標記化時，研究人員使用兩種模式來產生一個聯合的緊湊表示，該表示被送入一個轉換層以產生下一級的表示。 

這裡的一個挑戰，也是跨模態學習中的典型問題，就是視訊影格往往不直接對應相關的文字。研究人員透過增加兩個可學習的線性層來解決這個問題，在標記化之前，統一視覺和文字特徵維度。這樣一來，研究人員就可以讓影片和文字都能限制影片標記的學習方式。 

此外，單一的標記化步驟不允許兩個模式之間的進一步互動。為此，研究人員使用這個新的特徵表示與視訊輸入特徵互動，並產生另一組標記化的特徵，然後將其送入下一個轉換器層。 這個迭代過程中會創造新的特徵或標記，表示對兩種模式的聯合表示的不斷改進。最後，這些特徵被輸入到生成文字輸出的解碼器中。

 

依照影片品質評估的慣例，在對個別影片品質評估資料集進行微調之前，研究人員對模型進行預訓練。 在這項工作中，研究人員使用基於語音識別的文本自動註釋的視頻，使用HowTo100M數據集，而不是在大型VideoQA數據集上預先訓練。這種較弱的預訓練資料仍然使研究人員的模型能夠學習影片-文字特徵。

高效視訊問答的實現

研究人員將視訊語言迭代共同認證演算法應用於三個主要的VideoQA基準，MSRVTT-QA、MSVD-QA和IVQA ，並證明這種方法比其他最先進的模型取得了更好的結果，同時模型不至於過大。另外，迭代式共同標記學習在影片-文字學習任務上對算力的需求也更低。

  

此模型只使用67GFLOPS算力，是3D-ResNet影片模型與文字時所需算力（360GFLOP ）的六分之一，是X3D模型效率的兩倍以上。並且產生了高度準確的結果，精度超過了最先進的方法。

多流視訊輸入

對於VideoQA或其他一些涉及視訊輸入的任務，研究人員發現，多串流輸入對於更準確地回答有關空間和時間關係的問題很重要。

 研究人員利用三個不同解析度和幀率的視訊串流：一個低解析度、高幀率的輸入視訊串流（每秒32幀，空間解析度64x64，記作32x64x64）；一個高解析度、低幀率的影片（8x224x224）；以及一個介於兩者之間的（16x112x112）。 

儘管有三個資料流需要處理的資訊顯然更多，但由於採用了迭代共同標記方法，因此獲得了非常高效的模型。同時，這些額外的資料流允許提取最相關的資訊。

例如，如下圖所示，與特定活動相關的問題在分辨率較低但幀率較高的視訊輸入中會產生較高的激活，而與一般活動相關的問題可以從幀數很少的高解析度輸入中得到答案。

  

#這個演算法的另一個好處是，標記化會根據所問問題的不同而改變。

結論

研究人員提出了一種新的視訊語言學習方法，它著重於跨視訊-文字模式的共同學習。研究人員解決了視訊問題回答這一重要而具有挑戰性的任務。研究人員的方法既高效又準確，儘管效率更高，但卻優於目前最先進的模型。

Google研究人員的方法模型規模適度，可以透過更大的模型和資料獲得進一步的效能改進。研究人員希望，這項工作能引發更多視覺語言學習的研究，以實現與基於視覺的媒體的更多無縫互動。

以上是Google、MIT「迭代共同認證」視訊問答模型：SOTA效能，算力少用80%的詳細內容。更多資訊請關注PHP中文網其他相關文章！