对话视频

从文本转录稿生成多角色语音对话视频。支持两条路径：快速 ffmpeg 方式（无需额外依赖）或功能丰富的 Remotion 方式（基于 React 的动画渲染）。

前置条件

工作流程

1. 构建转录稿清单（transcript manifest）

创建一个 JSON 文件，描述你的对话内容：

[
  {"speaker": "NARRATOR",   "text": "Customer Discovery Interview", "voice": "M1", "speed": 1.0, "align": "center"},
  {"speaker": "INTERVIEWER", "text": "Walk me through when you first realized...", "voice": "M5", "speed": 0.95, "align": "left"},
  {"speaker": "CUSTOMER",   "text": "I was looking for a marketer agent.", "voice": "M2", "speed": 1.0, "align": "right"}
]

字段说明：speaker（说话人标签），text（待朗读文本），voice（supertonic 语音名称，如 M1–M5、F1–F2），speed（可选播放语速），align（视频中文字对齐方式：left/right/center）。

2. 生成音频及时间戳清单

python scripts/generate_audio.py manifest.json output.wav

输出文件：

• output.wav — 拼接完成的多角色语音音频
• output_timings.json — 各段语音的起止时间戳（用于视频同步）

3. 渲染视频（任选其一）

路径 A：ffmpeg — 快速、无需 Node.js

python scripts/ffmpeg_render.py output_timings.json output.wav video.mp4

支持参数：--width、--height、--font-size、--bg、--font、--crf

路径 B：Remotion — 支持更丰富的动画效果，基于 React

复制模板项目：

cp -r assets/remotion-boilerplate ./my-video
cd my-video
npm install

编辑 src/Conversation.tsx：

1. 将 conversation 数组替换为你自己的对话行（时长单位为帧，帧率为 30fps）
2. 配置 SpeakerConfig 中各角色的颜色与对齐方式
3. 取消注释 行，并将音频文件放入 public/ 目录

执行渲染：

npx remotion render src/index.ts Conversation out/video.mp4

说话人自定义

默认颜色与对齐方式映射表（可在 ffmpeg 或 Remotion 对应配置中修改）：

如需添加更多说话人，请在对应渲染器的配置映射中扩展。

参考资料

• scripts/generate_audio.py — 支持多角色语音合成并导出时间戳
• scripts/ffmpeg_render.py — 基于 ffmpeg drawtext 的视频渲染脚本
• assets/remotion-boilerplate/ — 可直接复制使用的 Remotion 项目模板
• references/remotion-patterns.md — 高级 Remotion 技巧（如 JSON 数据加载、逐词浮现、音频同步等）
• references/ffmpeg-guide.md — ffmpeg drawtext 语法与时间控制参考指南