gemma4-video-analysis

Polar Sponsor
爱发电 赞助
.NET 9.0

使用 Gemma4 模型分析视频文件时使用

Gemma 4 视频分析

功能概述

Gemma 4 视频分析是一项面向实际任务的技能,主要用于Scripts 目录 — 可执行工具隔离在 scripts/ 中;单文件工具 — 所有逻辑都在 scripts/analyze_video.py 中;

核心要点

  • 函数式分解 — readVideoAsDataUri 、 createClient 、 analyzeVideo 、 main;
  • 类型注解 — 所有公共函数都带类型注解(遵循项目 Python 约定)。
  • 它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。

使用与执行

从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。

结果检查与注意事项

执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。该技能适合用于一次性任务,也可以接入自动化工作流,与其他技能或上层代理配合完成更完整的业务链路;在组合使用时,应明确每一步的输入输出关系,并避免不同步骤之间出现参数冲突。

Gemma 4 视频分析

代码架构

gemma4-video-analysis/
├── .env                   # 环境变量(base_url、key、model)
├── .env.example           # 所需环境变量的模板
├── scripts/
│   └── analyze_video.py   # 独立 CLI 入口
└── SKILL.md               # 本技能参考文档
  • Scripts 目录 — 可执行工具隔离在 scripts/ 中
  • 单文件工具 — 所有逻辑都在 scripts/analyze_video.py 中
  • 函数式分解 — readVideoAsDataUri、createClient、analyzeVideo、main
  • 类型注解 — 所有公共函数都带类型注解(遵循项目 Python 约定)
  • 边界校验 — 在 CLI 边界进行输入检查(环境变量、文件存在性)
  • 不修改全局状态 — 环境在导入后只读

工作流

通过 video_url 分析本地视频

digraph video_analysis_workflow {
    "从 .env.example 创建 .env" [shape=box];
    "运行 python scripts/analyze_video.py [路径]" [shape=box];
    "load_dotenv 读取 GEMMA4_*" [shape=box];
    "校验环境变量 + 文件" [shape=box];
    "Base64 编码视频" [shape=box];
    "发送 video_url + 提示词" [shape=box];
    "打印模型响应" [shape=doublecircle];
    "显示错误并退出 1" [shape=box];

    "从 .env.example 创建 .env" -> "运行 python scripts/analyze_video.py [路径]";
    "运行 python scripts/analyze_video.py [路径]" -> "load_dotenv 读取 GEMMA4_*";
    "load_dotenv 读取 GEMMA4_*" -> "校验环境变量 + 文件";
    "校验环境变量 + 文件" -> "Base64 编码视频" [label="通过"];
    "校验环境变量 + 文件" -> "显示错误并退出 1" [label="失败"];
    "Base64 编码视频" -> "发送 video_url + 提示词";
    "发送 video_url + 提示词" -> "打印模型响应" [label="通过"];
    "发送 video_url + 提示词" -> "显示错误并退出 1" [label="失败"];
}
  1. 复制 .env.example 到 .env,并填写 GEMMA4_BASE_URL、GEMMA4_API_KEY、GEMMA4_MODEL
  2. (可选)在 .env 中设置 GEMMA4_DEFAULT_VIDEO 作为默认视频路径
  3. 运行 python scripts/analyze_video.py [ 可选的视频路径 ]
  4. 脚本通过 load_dotenv 加载 .env,校验环境变量和文件存在性,然后对视频进行 base64 编码
  5. 通过 OpenAI 兼容接口 /v1/chat/completions 发送 video_url + 文本提示词
  6. 打印模型响应

回退方案:当 video_url 不受支持时提取帧

如果后端服务不支持 video_url:

  1. 以 1 FPS 提取帧(60 秒上限内最多 60 帧)
  2. 将每帧编码为 base64 image_url
  3. 将所有帧与提示词一起放在单个 messages[0].content 数组中发送

错误处理模式

  • 缺少环境变量 → 打印缺失变量名和示例 export 命令,以代码 1 退出
  • 文件缺失 → 打印绝对路径,以代码 1 退出
  • API 调用失败 → 在 try/except 中捕获,打印异常信息,以代码 1 退出
  • 不静默吞错 — 所有错误都会输出到终端

配置约定

约定 值 说明
配置文件 项目根目录下的 .env 标准做法,通过 .env.example 友好地纳入版本控制
环境变量前缀 GEMMA4_ 防止与其他 OpenAI 兼容工具冲突
超时时间 300.0 秒 大体积 base64 负载(>80 MB)需要比默认 60 秒更充裕的时间
默认提示词 用中文描述视频 与项目面向用户的语言偏好保持一致
最大 Token 数 2048 足以生成详细的场景描述
Top K 64 通过 extra_body 传递给后端,控制采样多样性

测试模式

目前这个最小化工具还没有自动化测试套件。手动验证清单:

  1. 不带 .env 运行 → 预期会友好地提示缺失变量
  2. 文件不存在时运行 → 预期会友好地报错
  3. 使用有效的 30 秒 MP4 运行 → 预期会输出中文描述

反模式

模式 失败原因 正确做法
在源码中硬编码 base_url 或 api_key 无法跨环境复用;存在密钥泄露风险 使用 .env + python-dotenv
将 .env 提交到 git 泄露密钥和环境专属 URL 只提交 .env.example;将 .env 加入 .gitignore
向 31B Dense 模型传入含音频的期望 Gemma 4 31B 不处理音频;只有 E2B/E4B 才支持 如需处理音频,请单独转录
上传 5 分钟视频 超过 60 秒的帧预算;可能导致 OOM 或被截断 分析前裁剪到 60 秒
后端不支持 video_url 时未配置回退 部分服务可能只接受图片帧 提供帧提取回退逻辑

速查参考

# 1. 安装依赖
pip install openai python-dotenv

# 2. 准备环境
cp .env.example .env
# 编辑 .env,填入你的端点地址和凭据

# 3. 运行
python scripts/analyze_video.py              # 默认视频
python scripts/analyze_video.py my_video.mp4 # 指定视频

相关专题

更多
Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

2026.10.28

0

16

Vite 如何搭配 Vue.js
Vite 如何搭配 Vue.js

Vite搭配Vue.js专题汇集创建Vue 3项目、配置开发环境、路径别名、Vue插件、代理、多环境构建与调试的已审核文章,帮助读者完成从初始化到日常开发的配置。

2026.10.28

0

15

Vite 项目目录怎么看
Vite 项目目录怎么看

Vite项目目录专题汇集入口文件、src源码、public静态资源、路径别名、项目根目录和构建输出目录相关的已审核文章,帮助读者理解各文件夹的用途与引用方式。

2026.10.28

0

10

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

2026.10.22

0

11

Gradle Wrapper配置教程
Gradle Wrapper配置教程

本专题介绍Gradle Wrapper的基本作用,涵盖文件组成、生成方法、版本配置和任务调用,帮助你理解项目如何使用指定的Gradle版本,减少不同开发环境带来的构建差异。

2026.10.22

0

10

Golangci-lint检查器使用教程
Golangci-lint检查器使用教程

本专题整理Golangci-lint常用Linters的用途与配置方法,覆盖错误处理、无效代码、安全、复杂度、命名和依赖检查,帮助项目合理选规则。

2026.10.22

0

15

Gradle怎么构建Java项目
Gradle怎么构建Java项目

本专题介绍Gradle Java项目构建方法,涵盖Java插件配置、依赖声明、源码编译、测试执行和打包检查,帮助你理解各阶段的任务关系,逐步完成项目构建。

2026.10.22

0

10

PHP时间戳漏洞修复教程
PHP时间戳漏洞修复教程

本专题汇总PHP常见时间戳漏洞,包括2038年溢出、时区漂移、时间戳伪造、重放攻击、时间盲注与日志审计失效等,并给出升级64位环境、使用 DateTimeImmutable、统一UTC、严格超时校验、预处理绑定、hash_equals 比对等修复方案,帮助开发者快速排查和加固时间相关代码。

2026.10.22

0

25

Golangci-lint配置文件与规则设置
Golangci-lint配置文件与规则设置

本专题聚焦Golangci-lint YAML配置文件,讲清运行参数、规则启停、目录排除、问题过滤及严重级别设置,便于团队统一检查标准。

2026.10.22

0

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.1万人学习