视频 BGM 技能

分析视频内容与情绪，通过 AI 生成匹配的背景音乐（BGM），并混音合成。

处理流程

输入视频 → Gemini 分析 → Lyria2 生成 BGM → FFmpeg 混音 → 输出
                （情绪/风格）     （生成）        （变速 + 音量 + 淡入淡出）

依赖项

• Python：python3（或激活项目虚拟环境 venv，如已配置）
• Gemini API：GOOGLE_GENAI_API_KEY（用于视频理解）
• fal.ai：FAL_API_KEY（用于 Lyria2 音乐生成）
• FFmpeg：需系统级安装

初始化设置

# 安装所需包
pip install google-generativeai httpx

# 通过环境变量设置 API 密钥
export GOOGLE_GENAI_API_KEY="your_google_api_key"
export FAL_API_KEY="your_fal_api_key"

使用方法

/video-bgm <视频文件路径>
/video-bgm <视频文件路径> --speed 1.1
/video-bgm <视频文件路径> --speed 1.1 --volume 5
/video-bgm <视频文件路径> --style "lo-fi chill"

参数说明

分步执行流程

步骤 1：使用 Gemini 分析视频

将视频上传至 Gemini 2.0 Flash，获取深度情绪与风格分析。

import google.generativeai as genai
import os

GOOGLE_API_KEY = os.environ.get("GOOGLE_GENAI_API_KEY")
genai.configure(api_key=GOOGLE_API_KEY)

使用以下分析提示词（以广告音乐总监视角撰写，非通用描述）：

请非常仔细地观看该视频。你是一名广告片音乐总监。

请回答：
1. 该视频传达了怎样的 BRAND POSITIONING？（高端奢华？亲民实惠？理想化生活？）
2. 观众的情绪体验路径是怎样的？请逐段具体说明。
3. 哪些真实的商业广告配乐可作参考？请列举具体广告风格案例，
   （如 Four Seasons 度假村？Apple 新品发布？Volvo？Pottery Barn？Nike？）
4. 整体 ENERGY LEVEL 如何？是沉思静谧型，还是富有推进感？
5. 实际适用的节奏 BPM、乐器组合及制作风格是什么？
   请坦诚作答——古典钢琴常显得过于刻板，建议考虑现代替代方案。

最后，请提供一条单一、凝练的音乐生成提示（2–3 句话），精准概括理想 BGM。
聚焦于：乐器、BPM、情绪形容词、制作风格。
格式：MUSIC_PROMPT: <你的提示文本>

步骤 2：提取 MUSIC_PROMPT

解析 Gemini 的响应，定位包含 MUSIC_PROMPT: 的行。该行内容即作为 Lyria2 的输入提示。

所有提交给 Lyria2 的提示，均须追加以下约束条件：

无演唱人声，无鼓组，无打击乐音效，无环境音效。

步骤 3：通过 fal.ai Lyria2 生成 BGM

import httpx
import os

FAL_API_KEY = os.environ.get("FAL_API_KEY")

resp = httpx.post(
    "https://fal.run/fal-ai/lyria2",
    headers={
        "Authorization": f"Key {FAL_API_KEY}",
        "Content-Type": "application/json",
    },
    json={"prompt": music_prompt},
    timeout=120.0,
)
audio_url = resp.json()["audio"]["url"]

Lyria2 默认生成约 32 秒音频，输出格式为 WAV，采样率 48kHz，双声道。

步骤 4：FFmpeg — 变速 + 提取音频 + 混音 BGM

# 步骤 4a：按需对视频变速（如有指定），并移除原始音轨
ffmpeg -y -i INPUT.mp4 
  -filter:v "setpts=PTS/{speed}" 
  -an 
  -c:v libx264 -preset medium -crf 18 
  OUTPUT_speedup.mp4

# 步骤 4b：获取变速后视频时长
DURATION=$(ffprobe -v quiet -show_entries format=duration -of csv=p=0 OUTPUT_speedup.mp4)

# 步骤 4c：混音 BGM（提升音量、添加淡入淡出、裁剪至视频长度）
ffmpeg -y 
  -i OUTPUT_speedup.mp4 
  -i bgm.wav 
  -filter_complex "[1:a]volume={volume},atrim=0:{duration},afade=t=in:st=0:d={fade_in},afade=t=out:st={duration-fade_out}:d={fade_out}[a]" 
  -map 0:v -map "[a]" 
  -c:v copy -c:a aac -b:a 192k 
  -shortest 
  OUTPUT_final.mp4

步骤 5：打开结果文件

自动打开最终合成视频供用户审阅；同时单独打开生成的 BGM 音频文件，便于独立评估音乐质量。

关键经验总结

• Lyria2 输出音量极低 —— 务必使用音量倍率（默认为 5.0）
• 避免对 Lyria2 提示过度细化 —— 使用“三幕式”等结构化提示易导致结果混乱；应聚焦于乐器、BPM、情绪形容词与风格参照
• 让 Gemini 扮演音乐总监角色 —— 其风格推荐远优于泛泛而谈的“舒缓钢琴曲”类默认选项
• 务必先剥离原始音轨（-an）—— 部分视频自带干扰性音轨
• 古典钢琴通常不适用 —— 在高端/生活方式类场景中，现代极简风格（Rhodes 电钢琴、原声吉他、大提琴）效果更佳

输出文件

所有生成文件均保存在输入视频所在目录下：

input_video.mp4          → 原始视频
input_video_speedup.mp4  → 变速后视频（无音频）
input_video_bgm.wav      → 生成的 BGM 音频
input_video_final.mp4    → 最终带 BGM 的合成视频

使用示例

# 基础用法：自动分析并添加 BGM
/video-bgm ~/Desktop/product_video.mp4

# 提速 10% 并添加 BGM
/video-bgm ~/Desktop/product_video.mp4 --speed 1.1

# 手动指定风格（跳过 Gemini 分析）
/video-bgm ~/Desktop/ad.mp4 --style "upbeat modern pop, synth pads, 100 BPM"

# 调高 BGM 音量
/video-bgm ~/Desktop/quiet_video.mp4 --volume 8

作者

Canlah AI —— 在不损害品牌调性的前提下高效开展效果营销。

• GitHub：github.com/PHY041
• 全部技能集：clawhub.ai/PHY041