see-video

从视频中提取帧，并将其以网格图像 + XML 时间戳的形式注入大语言模型（LLM）上下文。

初始化设置（仅首次运行时需要）

cd 
npm install

使用方法

node {baseDir}/scripts/inject.mjs  [--mode uniform|highlight] [--start N] [--end N]

执行成功后，向标准输出（stdout）返回 JSON 结果：

{
  "gridPath": "/tmp/video_llm-frames.jpg",
  "description": "...",
  "duration": 1326,
  "frameCount": 28,
  "layout": { "cols": 4, "rows": 7, "cellW": 384, "cellH": 216 },
  "videoWidth": 854,
  "videoHeight": 480,
  "inputSizeMb": 42.3
}

若视频时长超过 10 分钟，且在未指定 --start/--end 的情况下使用了 --mode uniform，则响应中会额外包含一个 hint 字段：

{
  "hint": "Video is 30 minutes long. This is a uniform overview. For better scene coverage re-run with --mode highlight, or use --start/--end to zoom into a specific section."
}

处理长视频的推荐工作流：

1. 首次运行时使用 --mode highlight —— 全局展示关键场景变化
2. 若用户需聚焦于某一段落细节，则重新运行并指定 --start N --end N

执行出错时，错误信息将写入标准错误输出（stderr），格式为：ERROR: + Hint: ，并以退出码 1 终止进程。

注入流程

步骤 1 — 运行脚本（bash 工具）：

node {baseDir}/scripts/inject.mjs "/path/to/video.mp4"

步骤 2 — 解析 JSON：
提取 gridPath 和 description 字段。

步骤 3 — 注入图像（read 工具）：

read 

read 工具会将 JPG 图像作为原生多模态图像块注入上下文。
查看完网格图像后，可利用 description 中的 XML 时间戳定位具体帧：

“请查看上方的网格图像。结合 description 中的 XML 时间戳分析视频内容。每个单元格左上角的数字为该帧的索引编号。”

出错时的处理建议：

• 将 Hint: 后的内容翻译为自然、易懂的中文提示语，避免直接粘贴原始错误输出。
• 若 read 执行失败 —— /tmp/ 下的文件为临时文件。请重新运行脚本，并立即执行 read 操作。

选项说明

诊断信息

注意事项

• 帧数量与单元格尺寸根据视频时长和宽高比自动计算
• 生成的网格图像尺寸约为 1500×1500 像素，单元格长边为 384–512 像素
• 时间戳仅存在于 description 的 XML 中，不会叠加显示在图像上
• 同时支持竖屏与横屏视频
• Telegram 用户注意：若消息中未附带视频文件，请检查 OpenClaw 配置中的 channels.telegram.mediaMaxMb 参数 —— 视频可能在渠道层已被截断，未能送达 agent