Google推出多模態Vid2Seq，理解視訊IQ在線，字幕君不會下線了｜CVPR 2023

華人博士和Google科學家最新提出了預訓練視覺語言模型Vid2Seq，可以分辨和描述一段影片中的多個事件。這篇論文已被CVPR 2023接收。

最近，來自Google的研究員提出了一種用於描述多事件影片的預訓練視覺語言模型－Vid2Seq，目前已被CVPR23接收。

在以前，理解影片內容是一項具有挑戰性的任務，因為影片通常包含在不同時間尺度發生的多個事件。

例如，一個雪橇手將狗拴在雪橇上、然後狗開始跑的影片涉及一個長事件（狗拉雪橇）和一個短事件（狗被拴在雪橇上）。

而促進影片理解研究的一種方法是，透過密集視訊標註任務，該任務包括在一分鐘長的影片中對所有事件進行時間定位和描述。

論文地址：https://arxiv.org/abs/2302.14115

Vid2Seq架構用特殊的時間標記增強了語言模型，使其能夠在同一輸出序列中無縫預測事件邊界和文字描述。

為了對這個統一的模型進行預訓練，研究者透過將轉錄的語音的句子邊界重新表述為偽事件邊界，並將轉錄的語音句子作為偽事件的標註，來利用未標記的旁白影片。

Vid2Seq模型概述

由此產生的Vid2Seq模型在數以百萬計的旁白影片上進行了預訓練，提高了各種密集影片標註基準的技術水平，包括YouCook2、ViTT和ActivityNet Captions。

Vid2Seq也能很好地適用於few-shot的密集視訊標註設定、視訊段落標註任務和標準視訊標註任務。

用於密集視訊標註的視覺語言模型

多模態Transformer架構已經刷新了各種視訊任務的SOTA，例如動作辨識。然而，要讓這樣的架構適應在長達幾分鐘的影片中聯合定位和標註事件的複雜任務，並不簡單。

為了實現這個目標，研究者用特殊的時間標記（如文字標記）來增強視覺語言模型，這些時間標記代表影片中離散的時間戳，類似於空間領域的Pix2Seq。

對於給定的視覺輸入，所產生的Vid2Seq模型既可以接受輸入，也可以產生文字和時間標記的序列。

首先，這使得Vid2Seq模型能夠理解轉錄的語音輸入的時間訊息，它被投射為單一的標記序列。其次，這使Vid2Seq能夠聯合預測密集的事件標註，並在影片中以時間為基礎，同時產生單一的標記序列。

Vid2Seq架構包括一個視覺編碼器和一個文字編碼器，它們分別對視訊幀和轉錄的語音輸入進行編碼。產生的編碼隨後被轉發到文字解碼器，該解碼器自動預測密集事件標註的輸出序列，以及它們在影片中的時間定位。在這個架構初始化時有一個強大的視覺主幹和一個強大的語言模型。

對影片進行大規模預訓練

由於任務的密集性，為密集的影片標註手動收集註解的成本特別高。

因此，研究者使用了無標籤的解說影片對Vid2Seq模型進行預訓練，這些影片在規模上很容易取得。他們還使用了YT-Temporal-1B資料集，其中包括1800萬個涵蓋廣泛領域的旁白影片。

研究者使用轉錄的語音句子及其對應的時間戳作為監督，這些句子被投射為單一的token序列。

然後用一個生成目標對Vid2Seq進行預訓練，該目標教導解碼器僅預測給定視覺輸入的轉錄的語音序列，以及一個鼓勵多模態學習的去噪目標，要求模型在有噪音的轉錄語音序列和視覺輸入的情況下預測掩碼。特別是，透過隨機掩蓋跨度的token，把噪音添加到語音序列中。

下游任務的基準測室結果

由此產生的預訓練的Vid2Seq模型可以透過一個簡單的最大似然目標在下游任務中進行微調，該目標使用教師強迫（即在給在定先前的基礎真實token的情況下預測下一個token）。

經過微調，Vid2Seq在三個標準的下游密集視訊標註基準（ActivityNet Captions、YouCook2和ViTT）和兩個影片剪輯標註基準（MSR-VTT、MSVD）上超越了SOTA。

在論文中，還有額外的消融研究、定性結果，以及在few-shot設定和視訊段落標註任務中的結果。

定性測試

結果表明，Vid2Seq可以預測有意義的事件邊界和標註，而且預測的標註和邊界與轉錄的語音輸入有很大的不同（這也表明輸入中視覺標記的重要性）。

下一個範例有關於烹飪食譜中的一系列指令，是Vid2Seq對YouCook2驗證集的密集事件標註預測的例子：

#接下來是Vid2Seq對ActivityNet Captions驗證集的密集事件標註預測的例子，在所有這些影片中，都沒有轉錄的語音。

不過還是會有失敗的案例，像是下面標紅的這個畫面，Vid2Seq說是一個人對著鏡頭脫帽致敬。

對標SOTA

表5將Vid2Seq與最先進的密集視訊標註方法進行了比較：Vid2Seq在YouCook2、ViTT 和ActivityNet Captions這三個資料集上刷新了SOTA。

Vid2Seq在YouCook2和ActivityNet Captions上的SODA指標比PDVC和UEDVC分別增加了3.5和0.3分。且E2ESG在Wikihow上使用域內純文字預訓練，而Vid2Seq優於此方法。這些結果表明，預先訓練的Vid2Seq模型具有很強的密集事件標註能力。

表6評估了密集視訊標註模型的事件定位表現。與YouCook2和ViTT相比，Vid2Seq在處理密集視訊標註作為單一序列生成任務時更勝一籌。

然而，與PDVC和UEDVC相比，Vid2Seq在ActivityNet Captions上表現不佳。與這兩種方法相比，Vid2Seq整合了較少的關於時間定位的先驗知識，而另兩種方法包括特定的任務組件，如事件計數器或單獨為定位子任務訓練一個模型。

實作細節

• 架構

視覺時間transformer編碼器、文字編碼器和文字解碼器都有12層，12個頭，嵌入維度768，MLP隱藏維度2048。

文字編碼器和解碼器的序列在預訓練時被截斷或填充為L=S=1000個token，在微調期間，S=1000和L=256個token。在推理過程中，使用波束搜尋解碼，追蹤前4個序列並應用0.6的長度歸一化。

• 訓練

作者使用Adam優化器，β=(0.9, 0.999)，沒有權重衰減。

在預訓練期間，使用1e^-4的學習率，在前1000次迭代中線性預熱（從0開始），並在其餘迭代中保持不變。

在微調期間，使用3e^-4的學習率，在前10%的迭代中線性預熱（從0開始），其餘90%的迭代中保持餘弦衰減（降至0）。過程中，使用32個視訊的批次量，並在16個TPU v4晶片上分割。

作者對YouCook2進行了40次epoch調整，對ActivityNet Captions和ViTT進行了20次epoch調整，對MSR-VTT進行了5次epoch調整，對MSVD進行了10次epoch調整。

結論

Google提出的Vid2Seq，是一種用於密集視訊標註的新型視覺語言模型，它可以有效地在無標籤的旁白影片上進行大規模的預訓練，並在各種下游密集視訊標註的基準上取得了SOTA的結果。

作者介紹

論文一作：Antoine Yang

#

Antoine Yang是法國國立電腦及自動化研究院Inria和巴黎高等師範學校École Normale Supérieure的WILLOW團隊的三年級博士生，導師為Antoine Miech, Josef Sivic, Ivan Laptev和Cordelia Schmid。

目前的研究重點是學習用於視訊理解的視覺語言模型。他於2019年在華為諾亞方舟實驗室實習，並在2020年獲得了巴黎綜合理工學院的工程學位和巴黎薩克雷國立大學的數學、視覺和學習碩士學位，2022年在谷歌研究院實習。

以上是Google推出多模態Vid2Seq，理解視訊IQ在線，字幕君不會下線了｜CVPR 2023的詳細內容。更多資訊請關注PHP中文網其他相關文章！