Virtual Singer MV Production Pipeline

概述

给定四个输入（音乐音频、歌词文本、视频脚本/分镜、虚拟歌手三视图参考图）， 自动生成完整的场景化音乐视频（MV）。流水线覆盖音频分析、场景生成、角色生成/ 动画、合成剪辑、最终输出全流程，无需任何外部第三方工具。

前置条件

在开始前，验证所有依赖是否可用：

# 检查 FFmpeg
ffmpeg -version

# 检查 Python librosa
python -c "import librosa; print(librosa.__version__)"

如果缺少 FFmpeg：Windows 执行 winget install ffmpeg，macOS 执行 brew install ffmpeg。 如果缺少 librosa：在 Python venv 中执行 pip install librosa soundfile。

依赖技能

以下技能必须已安装（WorkBuddy 技能市场中可获取）：

内置工具

流水线总览

输入 → 音频分析 → 场景生成 + 角色生成
     → 角色动画（3种模式）→ 合成剪辑 → 最终 MV

不要在未经用户确认的情况下执行所有步骤。每个阶段先展示计划，用户确认后再继续。

Step 1: 音频分析

目标：提取 BPM、节拍时间戳、歌词与音频时间对齐。

1. 使用 openai-whisper-api 技能转写提供的音频文件。

   • 如果音频以器乐为主，Whisper 可能无法产生有意义的歌词。 此时跳过 Whisper，仅使用用户提供的歌词文本。

2. 运行 scripts/analyze_audio.py <音频文件路径> <输出JSON路径> 提取：

   • BPM（每分钟节拍数）
   • 节拍时间戳数组（秒）
   • 总时长

3. 将歌词对齐到节拍网格，创建歌词时间轴 JSON：

   [
     {"start": 0.0, "end": 5.2, "text": "第一行歌词"},
     {"start": 5.2, "end": 10.5, "text": "第二行歌词"}
   ]
   

4. 解析用户的视频脚本/分镜，将每个场景映射到目标时间范围。

输出：lyrics_timeline.json 和 scene_timeline.json

Step 2: 场景视频生成

目标：为脚本中描述的每个场景生成视频片段。

1. 对脚本中的每个场景：

   • 如果用户提供了概念图，使用 VideoGen 图生视频。
   • 如果只有文本描述，使用 VideoGen 文生视频。
   • 默认参数：seconds 匹配场景时长，resolution: 1080P，aspect_ratio: 16:9。
   • 保存为 scene__.mp4。

2. 可选使用 media-downloader 技能搜索补充素材视频 （如"城市夜景"、"海浪"等），作为备用或 B-roll。

3. 对于需要虚拟歌手出现的场景，生成纯背景视频（角色稍后合成）。

输出：一组场景视频文件。

Step 3: 虚拟角色生成

目标：从三视图参考图生成虚拟歌手角色的多角度/多表情图像。

1. 使用 ImageGen 以三视图为输入，生成角色不同表情和姿势：

   • 正面站立
   • 侧身（3/4 视角）
   • 手势（挥手、持麦克风等）
   • 不同表情（严肃、微笑、感动）

2. 使用 nano-banana-pro 技能对选定的角色图像进行高质量精修和 4K 放大。

3. 对于角色需要在特定背景中的场景，使用 ImageGen 图生图模式 将角色合成到该场景中。

输出：outputs/ 目录中的角色图像资源。

Step 4: 虚拟角色动画（选择模式）

目标：为虚拟歌手出现的视频片段制作角色动画。 根据创意需求选择一种或组合多种模式。

模式 A：AI 动态视频（VideoGen 图生视频）

使用角色图像通过 VideoGen 生成动态视频片段。 角色会有自然的微动作（呼吸、头发飘动、轻微转身），但不支持唇形同步。

• Prompt 示例：「虚拟歌手站在舞台上，微风轻拂，柔和灯光，轻微身体摇摆，电影质感，流畅运动」
• 设置 seconds 匹配所需片段时长。

最适合：自然、写实的角色呈现。

模式 B：风格化动画（video-fx 模板）

使用 3D 模型与视频特效 技能的 video-fx 命令对角色图像应用动画模板：

echo -n "" | python3 /scripts/buddy-cloud.py video-fx 
  --template animelive --image  --token-stdin

可选模板：

• animelive — 动漫风格角色动画
• cartoonlive — 卡通风格角色动画
• 3dfigure — 3D 手办风格
• fuzzy — 毛绒角色风格

最适合：风格化、艺术感。

模式 C：3D 模型（图生 3D）

从三视图参考生成虚拟歌手的 3D 模型：

echo -n "" | python3 /scripts/buddy-cloud.py 3d 
  --image-url  --enable-pbr --token-stdin

多视角输入：

echo -n "" | python3 /scripts/buddy-cloud.py 3d 
  --multi-view '[{"ViewType":"front","ViewImageUrl":"..."},
                {"ViewType":"back","ViewImageUrl":"..."},
                {"ViewType":"left","ViewImageUrl":"..."}]' --token-stdin

生成后创建 viewer.html 进行本地预览，然后在 MV 中使用旋转 3D 模型镜头。

最适合：高端、产品展示风格镜头。

Step 5: 视频合成

目标：将所有视频片段、角色动画、音频、字幕合成为最终 MV。

1. 加载 remotion-video-toolkit 技能，创建 Remotion 项目：

   • 按 scene_timeline.json 将场景片段放置到时间轴
   • 在指定时刻叠加角色动画片段
   • 按 lyrics_timeline.json 添加歌词字幕
   • 使用原始音乐音频作为唯一音轨

2. Remotion 合成参数：

   • 分辨率：1920x1080（或用户指定）
   • 帧率：30 FPS
   • 音频：原始音乐文件

3. 渲染合成项目，生成最终 MV 文件。

Step 6: 输出

1. 将最终渲染的 MV 保存为 virtual_singer_mv_.mp4， 存放在工作区 outputs 目录。

2. 使用 present_files 向用户展示结果。

3. 仅在用户明确要求时清理中间文件。

错误处理

• 如果 VideoGen 对某个场景失败，回退为该片段使用 ImageGen 生成的静态图片。

• 如果 3D 模型生成失败，回退为模式 A 或 B。

• 如果 Remotion 渲染失败，回退为 FFmpeg 拼接组装：

  # 创建拼接列表
  for f in scene_*.mp4; do echo "file '$f'" >> concat_list.txt; done
  ffmpeg -f concat -safe 0 -i concat_list.txt -i audio.mp3 
    -c:v libx264 -c:a aac -shortest final_mv.mp4
  

质量准则

• 最终输出始终使用 1080P 或更高，除非用户另有要求。
• 宽高比默认 16:9；如果需要竖屏/短视频格式则使用 9:16。
• 角色图像应在多次生成中保持一致性——使用描述角色关键视觉特征的相同 prompt 前缀。
• 字幕字体：使用清晰的无衬线字体，白色配深色描边以保证可读性。