通过测试时间培训生成一分钟的视频

这项开创性的研究解决了AI视频的一个重大障碍：从文本中创建更长的多场景视频。虽然最近的模型在简短，视觉上令人惊叹的剪辑中表现出色，但由于所需的信息量，产生了长达一分钟的叙述却带来了重大挑战。这种新方法是由Nvidia，Stanford，UC Berkeley等开发的，它利用测试时间培训（TTT）克服了这些限制。

目录

• 长期视频挑战
• TTT：动态解决方案
• TTT的一分钟视频示例
• TTT的工作原理
• Tom＆Jerry数据集
• 绩效评估
• 文物和局限性
• TTT的独特优势
• 未来的研究方向
• TTT与其他领先模型
• 结论

长期视频挑战

当前的视频生成模型通常基于变形金刚，由于自我发挥机制的二次计算成本而与更长的视频斗争。生成一分钟的高分辨率视频需要处理数十万个令牌，从而导致效率低下和叙事不一致。尽管Mamba或Deltanet等基于RNN的方法提供线性时间上下文处理，但其固定尺寸的隐藏状态限制了表现力。

TTT：动态解决方案

这项研究引入了TTT层 - 集成到RNN中的小型，可训练的神经网络（MLP）。这些层在推理过程中动态适应，并使用自我监督的损失从不断发展的视频上下文中学习。这使该模型可以随着视频的进行调整，以改善叙事连贯性和运动平滑度。

TTT的一分钟视频示例

研究人员通过从详细的文本提示中生成一分钟的Tom＆Jerry视频来展示TTT的功能。与基线模型相比，这些示例展示了提高时间一致性和运动平滑度。

视频1：杰里偷奶酪

视频2：汤姆和杰里厨房追逐

视频3：限制示例

TTT的工作原理

该系统将TTT层结合到预训练的扩散变压器模型（Cogvideo-X 5B）中。自我注意力仅限于短段，而TTT层管理全球叙事理解。门控机制可防止早期训练期间的性能降解。双向序列处理和场景细分注释（故事板格式）进一步增强培训。

Tom＆Jerry数据集

该研究利用了源自经典的Tom＆Jerry漫画的数据集，并以详细的描述为3秒。这种受控的环境简化了任务，重点是叙事连贯性和运动动态。

绩效评估

在人类评估中，TTT-MLP的表现明显优于基准（Mamba 2，门控的Deltanet），实现了34分ELO得分的提高。它在运动的自然性，时间一致性和整体美学质量上都表现出色。

文物和局限性

尽管取得了进展，但仍然存在诸如不一致的照明和不自然运动之类的伪影。这些可能是由于基本模型的局限性和计算成本所致。虽然比完全自我注意力快，但TTT-MLP比某些RNN方法慢。但是，只需要微调，使其更加实用。

TTT的独特优势

• 通过可训练的隐藏状态表达记忆
• 推理期间的适应性
• 可扩展性更长，更复杂的视频
• 有效的微调

未来的研究方向

未来的工作包括优化TTT内核，尝试不同的骨干模型，探索更复杂的故事情节以及使用基于变压器的隐藏状态。

TTT与其他领先模型

模型	核心重点	输入类型	关键功能	它与TTT的不同
TTT（测试时间培训）	具有动态适应的长期视频生成	文字故事板	在推理期间适应60秒的视频，连贯的多场景故事	专为长视频而设计；在发电期间更新内部状态以换取叙事一致性
摩卡	说话的角色产生	文字演讲	语音驱动的全身动画	专注于角色对话和表达方式，而不是全景叙事视频
悟空	高质量的视频和图像生成	文字，图像	整流流变压器，多模式输入支持	优化质量和训练速度；不是专为长篇故事设计而设计的
Omnihuman1	现实的人类动画	图像音频文字	多种条件信号，高分辨率化头像	创造栩栩如生的人；不会建模长序列或动态场景过渡
Dreamactor-M1	图像对动作（面部/身体）	图像驾驶视频	整体运动模仿，高框架一致性	动画静态图像；不使用文字或逐个故事的故事创造

（链接到有关摩卡，Dreamactor-M1，Goku和Omnihuman1的相关文章，将在此处插入。）

结论

TTT代表了长期视频生成的重大进步。它在推断过程中适应的能力可以使更连贯和引人入胜的讲故事，为更复杂的AI生成的媒体铺平了道路。

以上是通过测试时间培训生成一分钟的视频的详细内容。更多信息请关注PHP中文网其他相关文章！