AI 视频生成技能

使用 AI，根据文本描述生成完整视频。

能力

1. 图像生成 — DALL-E 3、Stable Diffusion、Flux
2. 视频生成 — LumaAI、Runway、Replicate 模型
3. 配音（Voice-over） — OpenAI TTS、ElevenLabs
4. 视频剪辑 — FFmpeg 合成、转场、叠加图层

快速开始

# 生成完整视频
python skills/ai-video-gen/generate_video.py --prompt "山巅日落" --output sunset.mp4

# 仅将图像序列合成为视频
python skills/ai-video-gen/images_to_video.py --images img1.png img2.png --output result.mp4

# 添加配音
python skills/ai-video-gen/add_voiceover.py --video input.mp4 --text "您的旁白内容" --output final.mp4

环境配置

必需的 API 密钥

请添加至您的环境变量或 .env 文件中：

# 图像生成（任选其一）
OPENAI_API_KEY=sk-...              # DALL-E 3
REPLICATE_API_TOKEN=r8_...         # Stable Diffusion、Flux

# 视频生成（任选其一）
LUMAAI_API_KEY=luma_...           # LumaAI Dream Machine
RUNWAY_API_KEY=...                # Runway ML
REPLICATE_API_TOKEN=r8_...        # 多种模型

# 配音（可选）
OPENAI_API_KEY=sk-...             # OpenAI TTS
ELEVENLABS_API_KEY=...            # ElevenLabs

# 或使用免费本地方案（无需 API）

安装依赖项

pip install openai requests pillow replicate python-dotenv

FFmpeg

已通过 winget 自动安装。

使用示例

1. 文本到视频（端到端流程）

python skills/ai-video-gen/generate_video.py 
  --prompt "一座拥有飞行汽车的未来主义城市夜景" 
  --duration 5 
  --voiceover "欢迎来到未来" 
  --output future_city.mp4

2. 多场景视频

python skills/ai-video-gen/multi_scene.py 
  --scenes "清晨日出" "繁忙的城市街道" "宁静的夜晚" 
  --duration 3 
  --output day_in_life.mp4

3. 图像序列转视频

python skills/ai-video-gen/images_to_video.py 
  --images frame1.png frame2.png frame3.png 
  --fps 24 
  --output animation.mp4

工作流选项

预算模式（FREE）

• 图像：Stable Diffusion（本地运行或免费 API）
• 视频：开源模型
• 配音：OpenAI TTS（成本低廉）或免费 TTS 方案
• 剪辑：FFmpeg

高质量模式（Paid）

• 图像：DALL-E 3 或 Midjourney
• 视频：Runway Gen-3 或 LumaAI
• 配音：ElevenLabs
• 剪辑：FFmpeg + 特效处理

脚本参考

• generate_video.py — 主要的端到端视频生成器
• images_to_video.py — 将图像序列转换为视频
• add_voiceover.py — 为已有视频添加旁白
• multi_scene.py — 创建多场景视频
• edit_video.py — 应用特效、转场与叠加图层

API 成本预估

• DALL-E 3：约 $0.04–0.08 / 张图像
• Replicate：约 $0.01–0.10 / 次生成
• LumaAI：$0–0.50 / 5 秒（提供免费额度）
• Runway：约 $0.05 / 秒
• OpenAI TTS：约 $0.015 / 千字符
• ElevenLabs：约 $0.30 / 千字符（音质更优）

示例

参见 examples/ 目录，内含样例输出及提示词（prompts）。