故事插画视频技能

生成完整的插画故事视频：AI 生成图像 + 文本转语音（TTS）旁白 + FFmpeg 合成。

关键实现注意事项（经验总结）

⚠️ 需避免的常见错误：

• 切勿 先生成一段超长 TTS 再切分——API 将在约 10,000 字符处截断，导致结尾丢失
• 切勿 为每张图像分配固定时长——各段旁白长度不同；图像必须严格匹配其对应音频片段的实际时长
• 切勿 使用阿拉伯数字表示代际（如“80后”）——TTS 会读作“八十后”。请使用中文数字：“八零后”
• 切勿 先批量生成全部图像、再批量生成全部音频——会导致音画段落错位

✅ 正确做法：

1. 将故事拆分为 N 段（每段 ≤150 字符）
2. 对每一段：先生成该段 TTS → 再生成对应图像，按段顺序依次执行
3. 合成：每段生成一个独立视频片段（图像 + 对应音频）
4. 按顺序拼接所有片段

工作流（多轮对话）

步骤 1：收集故事

触发条件：用户提交故事创意或叙事文本。

保存至状态文件后，询问图像风格。

步骤 2：收集风格并生成计划

触发条件：用户指定图像风格。

将故事拆分为 N 段（每段约 80–150 字符）。输出如下信息：

旁白总字数：XXX 字
预估语音时长：约 XX 秒（X 分 X 秒）
建议配图数量：N 张

请求用户确认。

步骤 3：确认配图数量

触发条件：用户确认或调整配图数量。

步骤 4：执行（不再提问）

触发条件：用户确认执行。

按段顺序执行完整流水线：

对每一段 i（0 到 N−1）：
    1. 生成 TTS：mmx speech synthesize --text "segment_i" --out seg_i.mp3
    2. 生成图像：mmx image generate --prompt "style, segment_i scene" --out-dir images/ --out-prefix i

随后将每段分别合成为独立视频片段，并按序拼接全部片段。

数字格式规范

旁白中涉及代际、年份等表述时，须统一使用中文数字：

• ❌ “80后、90后” → TTS 读作“八十后、九十后”
• ✅ “八零后、九零后”
• ❌ 旁白中写“1999年” → ✅ “1999年”（年份中的数字可保持原样）

单段合成脚本

参见 scripts/make_video.py —— 该脚本自动完成每段视频片段的创建与最终拼接。

状态文件

{
  "story": "original story text",
  "style": "confirmed style",
  "imageCount": 8,
  "segments": ["segment 1 text", "segment 2 text", ...],
  "outputDir": "/tmp/story-video-XXXX"
}

执行命令

逐段 TTS（顺序执行 — 每次仅处理一段）

mmx speech synthesize --text "SEGMENT_TEXT" --out seg_00.mp3 --voice male-qn-badao --non-interactive

逐段图像生成

mmx image generate --prompt "STYLE, scene description" --aspect-ratio 16:9 --out-dir images/ --out-prefix 00 --non-interactive

合成

python3 scripts/make_video.py --segments-dir /path/to/segments --images /path/to/images --output final.mp4

输出

最终视频路径：{outputDir}/story-video.mp4

语音选择

运行 mmx speech voices 查看可用语音列表。戏剧类故事推荐使用：

• male-qn-badao — 深沉、富有戏剧张力的男性声音
• male-qn-jingying — 成熟稳重的男性声音
• female-chengshu — 成熟知性的女性声音

重要说明

• 图像风格将统一应用于所有图像
• 旁白内容须为生动的故事性叙述，而非概括性摘要
• 每段文本长度须 ≤150 个汉字（防止 TTS 截断）
• 所有图像及最终视频宽高比均为 16:9
• 代际表述须使用中文数字（如“八零后”，不可用“80后”）
• 任务完成后，须向用户报告输出文件路径及视频总时长