通過測試時間培訓生成一分鐘的視頻

這項開創性的研究解決了AI視頻的一個重大障礙：從文本中創建更長的多場景視頻。雖然最近的模型在簡短，視覺上令人驚嘆的剪輯中表現出色，但由於所需的信息量，產生了長達一分鐘的敘述卻帶來了重大挑戰。這種新方法是由Nvidia，Stanford，UC Berkeley等開發的，它利用測試時間培訓（TTT）克服了這些限制。

目錄

• 長期視頻挑戰
• TTT：動態解決方案
• TTT的一分鐘視頻示例
• TTT的工作原理
• Tom＆Jerry數據集
• 績效評估
• 文物和局限性
• TTT的獨特優勢
• 未來的研究方向
• TTT與其他領先模型
• 結論

長期視頻挑戰

當前的視頻生成模型通常基於變形金剛，由於自我發揮機制的二次計算成本而與更長的視頻鬥爭。生成一分鐘的高分辨率視頻需要處理數十萬個令牌，從而導致效率低下和敘事不一致。儘管Mamba或Deltanet等基於RNN的方法提供線性時間上下文處理，但其固定尺寸的隱藏狀態限制了表現力。

TTT：動態解決方案

這項研究引入了TTT層 - 集成到RNN中的小型，可訓練的神經網絡（MLP）。這些層在推理過程中動態適應，並使用自我監督的損失從不斷發展的視頻上下文中學習。這使該模型可以隨著視頻的進行調整，以改善敘事連貫性和運動平滑度。

TTT的一分鐘視頻示例

研究人員通過從詳細的文本提示中生成一分鐘的Tom＆Jerry視頻來展示TTT的功能。與基線模型相比，這些示例展示了提高時間一致性和運動平滑度。

視頻1：傑里偷奶酪

視頻2：湯姆和傑里廚房追逐

視頻3：限制示例

TTT的工作原理

該系統將TTT層結合到預訓練的擴散變壓器模型（Cogvideo-X 5B）中。自我注意力僅限於短段，而TTT層管理全球敘事理解。門控機制可防止早期訓練期間的性能降解。雙向序列處理和場景細分註釋（故事板格式）進一步增強培訓。

Tom＆Jerry數據集

該研究利用了源自經典的Tom＆Jerry漫畫的數據集，並以詳細的描述為3秒。這種受控的環境簡化了任務，重點是敘事連貫性和運動動態。

績效評估

在人類評估中，TTT-MLP的表現明顯優於基準（Mamba 2，門控的Deltanet），實現了34分ELO得分的提高。它在運動的自然性，時間一致性和整體美學質量上都表現出色。

文物和局限性

儘管取得了進展，但仍然存在諸如不一致的照明和不自然運動之類的偽影。這些可能是由於基本模型的局限性和計算成本所致。雖然比完全自我注意力快，但TTT-MLP比某些RNN方法慢。但是，只需要微調，使其更加實用。

TTT的獨特優勢

• 通過可訓練的隱藏狀態表達記憶
• 推理期間的適應性
• 可擴展性更長，更複雜的視頻
• 有效的微調

未來的研究方向

未來的工作包括優化TTT內核，嘗試不同的骨幹模型，探索更複雜的故事情節以及使用基於變壓器的隱藏狀態。

TTT與其他領先模型

模型	核心重點	輸入類型	關鍵功能	它與TTT的不同
TTT（測試時間培訓）	具有動態適應的長期視頻生成	文字故事板	在推理期間適應60秒的視頻，連貫的多場景故事	專為長視頻而設計；在發電期間更新內部狀態以換取敘事一致性
摩卡	說話的角色產生	文字演講	語音驅動的全身動畫	專注於角色對話和表達方式，而不是全景敘事視頻
悟空	高質量的視頻和圖像生成	文字，圖像	整流流變壓器，多模式輸入支持	優化質量和訓練速度；不是專為長篇故事設計而設計的
Omnihuman1	現實的人類動畫	圖像音頻文字	多種條件信號，高分辨率化頭像	創造栩栩如生的人；不會建模長序列或動態場景過渡
Dreamactor-M1	圖像對動作（面部/身體）	圖像駕駛視頻	整體運動模仿，高框架一致性	動畫靜態圖像；不使用文字或逐個故事的故事創造

（鏈接到有關摩卡，Dreamactor-M1，Goku和Omnihuman1的相關文章，將在此處插入。）

結論

TTT代表了長期視頻生成的重大進步。它在推斷過程中適應的能力可以使更連貫和引人入勝的講故事，為更複雜的AI生成的媒體鋪平了道路。

以上是通過測試時間培訓生成一分鐘的視頻的詳細內容。更多資訊請關注PHP中文網其他相關文章！