使用 Gemma4 模型分析视频文件时使用
Gemma 4 视频分析是一项面向实际任务的技能,主要用于Scripts 目录 — 可执行工具隔离在 scripts/ 中;单文件工具 — 所有逻辑都在 scripts/analyze_video.py 中;
从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。
执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。该技能适合用于一次性任务,也可以接入自动化工作流,与其他技能或上层代理配合完成更完整的业务链路;在组合使用时,应明确每一步的输入输出关系,并避免不同步骤之间出现参数冲突。
gemma4-video-analysis/ ├── .env # 环境变量(base_url、key、model) ├── .env.example # 所需环境变量的模板 ├── scripts/ │ └── analyze_video.py # 独立 CLI 入口 └── SKILL.md # 本技能参考文档
scripts/ 中scripts/analyze_video.py 中readVideoAsDataUri、createClient、analyzeVideo、maindigraph video_analysis_workflow {
"从 .env.example 创建 .env" [shape=box];
"运行 python scripts/analyze_video.py [路径]" [shape=box];
"load_dotenv 读取 GEMMA4_*" [shape=box];
"校验环境变量 + 文件" [shape=box];
"Base64 编码视频" [shape=box];
"发送 video_url + 提示词" [shape=box];
"打印模型响应" [shape=doublecircle];
"显示错误并退出 1" [shape=box];
"从 .env.example 创建 .env" -> "运行 python scripts/analyze_video.py [路径]";
"运行 python scripts/analyze_video.py [路径]" -> "load_dotenv 读取 GEMMA4_*";
"load_dotenv 读取 GEMMA4_*" -> "校验环境变量 + 文件";
"校验环境变量 + 文件" -> "Base64 编码视频" [label="通过"];
"校验环境变量 + 文件" -> "显示错误并退出 1" [label="失败"];
"Base64 编码视频" -> "发送 video_url + 提示词";
"发送 video_url + 提示词" -> "打印模型响应" [label="通过"];
"发送 video_url + 提示词" -> "显示错误并退出 1" [label="失败"];
}
.env.example 到 .env,并填写 GEMMA4_BASE_URL、GEMMA4_API_KEY、GEMMA4_MODEL.env 中设置 GEMMA4_DEFAULT_VIDEO 作为默认视频路径python scripts/analyze_video.py [ 可选的视频路径 ]load_dotenv 加载 .env,校验环境变量和文件存在性,然后对视频进行 base64 编码/v1/chat/completions 发送 video_url + 文本提示词如果后端服务不支持 video_url:
image_urlmessages[0].content 数组中发送export 命令,以代码 1 退出1 退出try/except 中捕获,打印异常信息,以代码 1 退出| 约定 | 值 | 说明 |
|---|---|---|
| 配置文件 | 项目根目录下的 .env |
标准做法,通过 .env.example 友好地纳入版本控制 |
| 环境变量前缀 | GEMMA4_ |
防止与其他 OpenAI 兼容工具冲突 |
| 超时时间 | 300.0 秒 |
大体积 base64 负载(>80 MB)需要比默认 60 秒更充裕的时间 |
| 默认提示词 | 用中文描述视频 | 与项目面向用户的语言偏好保持一致 |
| 最大 Token 数 | 2048 |
足以生成详细的场景描述 |
| Top K | 64 |
通过 extra_body 传递给后端,控制采样多样性 |
目前这个最小化工具还没有自动化测试套件。手动验证清单:
.env 运行 → 预期会友好地提示缺失变量| 模式 | 失败原因 | 正确做法 |
|---|---|---|
在源码中硬编码 base_url 或 api_key |
无法跨环境复用;存在密钥泄露风险 | 使用 .env + python-dotenv |
将 .env 提交到 git |
泄露密钥和环境专属 URL | 只提交 .env.example;将 .env 加入 .gitignore |
| 向 31B Dense 模型传入含音频的期望 | Gemma 4 31B 不处理音频;只有 E2B/E4B 才支持 | 如需处理音频,请单独转录 |
| 上传 5 分钟视频 | 超过 60 秒的帧预算;可能导致 OOM 或被截断 | 分析前裁剪到 60 秒 |
后端不支持 video_url 时未配置回退 |
部分服务可能只接受图片帧 | 提供帧提取回退逻辑 |
# 1. 安装依赖 pip install openai python-dotenv # 2. 准备环境 cp .env.example .env # 编辑 .env,填入你的端点地址和凭据 # 3. 运行 python scripts/analyze_video.py # 默认视频 python scripts/analyze_video.py my_video.mp4 # 指定视频
相关专题
热门下载
相关下载
精品课程
共6课时 | 54.7万人学习
共89课时 | 134.1万人学习
共49课时 | 82.6万人学习