Sora 一出,视频领域似乎已经进入了生成式 AI 时代。不过直到今天,我们仍然没有用上 OpenAI 的官方视频生成工具,等不及的人们已经开始寻找其他的方法。 最近几周,一款开源的视频编辑工具 Clapper 引发了人们的关注。
与很多科技公司提供的视频生成器不同,Clapper 是一款开源 AI 故事可视化工具,于一年前推出原型。它的设计目的并非取代传统视频编辑器,或使用 3D 场景作为输入的现代 AI 编辑器。 Clapper 的理念是集合各类生成式 AI 技术,让任何人都能通过交互式、迭代和直观的过程使用 AI 创建视频。无需外部工具、电影制作或 AI 工程技能。在 Clapper 中,你无需直接编辑视频和音频文件序列,而是通过调整高级、抽象的概念,如角色、位置、天气、时间段、风格等,基于 AI Agent 来迭代你的故事。 Clapper 的作者 Julian Bilcke 是 HuggingFace 的一名 AI 前端工程师。他表示,为了向这个方向继续努力,他还在开发导演模式:目标是让使用者可以全屏播放视频,舒适地坐在导演椅(或沙发)上,向 Agent 大喊命令,让 AI 制作电影。
如何使用 既然是开源工具,我们主要看的当然是具体好不好用。 还记得 AI 大牛 Karpathy 创作 AI 短视频的体验吗?为了将《傲慢与偏见》开头的三句话变成动画版,足足花了这位顶尖高手一个小时。虽然只有三句话,三个场景,但这个工作流远比三句话要复杂。他先用 Claude 根据原文生成了一系列图像提示词,再将这些提示词输入文生图模型生成对应的图像,再交给视频模型制作动画,配音的任务分配给了 Elevenlabs,最后在 Veed Studio 里把所有片段整合起来。 于是,Karpathy 做完后发推吐槽,称:「创业者们,机会来了!市面上急需一个能够整合、简化这些流程的 AI 工具。」 Clapper 正是一个集成了所有这些功能的一站式平台。
当然,你也可以先用 AI 画一些气氛图出来,说不定能更进一步地激发你的灵感和创意。 不过,虽然 Clapper 的功能已经充分地考虑了做视频的需求,但是它的效果却有些差强人意。不仅画面中人物的动作有些「鬼畜」,不符合物理运动规律。视频的整体效果更像是会动的 PPT,缺乏镜头之间的转场和连续感,并且配乐也 AI 味十足,听起来没有旋律,还有些杂音。可能生成式 AI 想要改变视频制作的流程,还需要很长时间,但 Clapper 的出现或许能给还在给传统视频剪辑软件拓展 AI 功能的大厂们,提供了一条新的落地思路。 参考内容:https://news.ycombinator.com/item?id=41221399https://x.com/aigclink/status/1818111874531205216