Vidu Generation 🎬

Vidu AI 视频/图片/音频生成工具。

环境说明

变量说明：

• {baseDir} - 运行时自动替换为本 skill 目录的绝对路径
  • 实际路径：~/.openclaw/workspace/skills/vidu-generation/

环境变量：

• VIDU_API_KEY - Vidu API 密钥（必需）
• 获取方式：https://platform.vidu.cn 或 https://platform.vidu.com

快速开始

直接告诉我你想生成什么，我会自动识别并调用合适的接口：

"生成一只猫咪在阳光下打哈欠的视频"
"把这个图片变成视频，让人物转头微笑"
"生成一张可爱的橘猫图片"
"用这两张图生成一个合照视频"
"用少女音配音这段文字：大家好..."

支持的生成类型

🎥 视频生成

🖼️ 图片生成

🔊 音频生成

自动识别规则

视频生成

用户输入 → 意图识别
─────────────────────────────
纯文字描述 → 文生视频 (text2video)
单张图片 + 描述 → 图生视频 (img2video)
多张图片 → 参考生视频 (ref2video)
首帧 + 尾帧 → 首尾帧视频 (start-end2video)
特效关键词 → 场景特效 (template)

图片生成

用户输入 → 意图识别
─────────────────────────────
"生成图片/图" → 图片生成模式
纯文字 → 文生图
参考图片 → 参考生图

音频生成

用户输入 → 意图识别
─────────────────────────────
"配音" + 文本 → TTS语音合成
"复刻声音" + 音频 → 声音复刻

TTS 语音合成

自动音色推荐

根据内容场景自动选择合适音色：

使用示例

用户: 用少女音配音这段话：大家好，欢迎来到我的频道
→ 自动选择 female-shaonv
→ 生成音频文件

用户: 用播报男声朗读这段教程内容
→ 自动选择 Chinese (Mandarin)_Male_Announcer

用户: 英文配音：Hello, welcome to my channel
→ 自动选择 English_Trustworthy_Man

停顿控制

使用 <#x#> 标记控制停顿（x为秒数）：

你好<#2#>我是vidu<#1#>很高兴见到你

参数说明

声音复刻

根据音频样本复刻音色，用于后续TTS。

使用示例

用户: 帮我复刻这个音频的声音
[发送音频文件]
→ 创建自定义音色
→ 返回 voice_id 供后续使用

要求

• 原音频时长：10秒-5分钟
• 音频清晰，无背景噪音
• 复刻音色为临时音色，7天内需在TTS中调用才能永久保留

API 调用

python3 {baseDir}/scripts/vidu_cli.py voice-clone 
  --audio-url sample.mp3 
  --voice-id my_voice_001 
  --text "这是复刻的声音样例"

模型选择策略

文生视频模型

视频模型（自动推荐）

图生视频模型

必须输入1张图片

参考生视频模型

*viduq2-pro：输入视频时若未指定时长，duration=0 表示智能指定时长

首尾帧视频模型

必须输入2张图片（首帧+尾帧）

图片模型

Nano 生图模型（推荐）

特点：

• ✅ 支持文生图（不输入参考图）
• ✅ 支持参考生图（输入参考图）
• ✅ q3-fast 支持特殊比例（1:4、4:1、1:8、8:1）

Vidu 参考生图模型

viduq2 图片编辑功能：

• ✅ 支持局部重绘、扩图等编辑功能
• ⚠️ 使用图片编辑时，aspect_ratio 必须设为 auto
• 示例："aspect_ratio": "auto"

特点：

• viduq2：支持文生图、参考生图、图片编辑
• viduq1：必须输入至少 1 张参考图（仅参考生图）

场景推荐

时长与分辨率默认值

视频时长：5秒
视频分辨率：720p
视频比例：16:9
图片分辨率：2K
图片比例：16:9

API 调用

内部使用 Python CLI 工具：

# 文生视频
python3 {baseDir}/scripts/vidu_cli.py text2video --prompt "视频描述"

# 图生视频
python3 {baseDir}/scripts/vidu_cli.py img2video --image photo.jpg --prompt "描述"

# 参考生视频
python3 {baseDir}/scripts/vidu_cli.py ref2video --images img1.jpg img2.jpg --prompt "描述"

# 图片生成
python3 {baseDir}/scripts/vidu_cli.py nano-image --prompt "图片描述"

# TTS语音合成
python3 {baseDir}/scripts/vidu_cli.py tts --text "配音文本" --voice-id "female-shaonv"

# 声音复刻
python3 {baseDir}/scripts/vidu_cli.py voice-clone --audio-url sample.mp3 --voice-id my_voice

# 查询任务状态
python3 {baseDir}/scripts/vidu_cli.py status  --wait --download ./uploads

输出规范

1. 下载目录: {baseDir}/uploads/
2. 返回格式: Markdown 格式引用文件
3. 视频链接: 必须返回 Vidu API 的 creations[0].url 字段

环境配置

必需环境变量：

VIDU_API_KEY=your_api_key_here

获取 API Key：

• Vidu 官方开放平台：https://platform.vidu.cn 或 https://platform.vidu.com
• 注册账号后在「API Keys」页面创建

API 域名选择

重要规则：根据用户语言自动选择 API 域名

Base URL 配置：

# 简体中文用户
BASE_URL = "https://api.vidu.cn/ent/v2"

# 非简体中文用户（英文、日文、韩文等）
BASE_URL = "https://api.vidu.com/ent/v2"

判断逻辑：

• 用户使用简体中文 → 使用 api.vidu.cn
• 用户使用其他语言（英文、日文、韩文等） → 使用 api.vidu.com

错误处理

References

• API参考文档 - 所有API详细参数
• 音色列表 - 303个可用音色

Rules

1. API Key 检查: 调用前确认 VIDU_API_KEY 已设置
2. 异步任务: 视频生成异步进行，需轮询状态
3. 下载时效: 生成 URL 24小时内有效
4. 返回视频链接: 必须返回视频 URL 让用户直接访问
5. 长文本TTS: 文本超过30字符必须使用 --text-file 参数
6. 音色保留: 复刻音色7天内需使用否则删除