视觉与媒体理解

接收媒体输入（图像、视频、音频片段或文档），并生成关于该输入的文本：直接答案、图注（caption）、标签（tags）、结构化字段提取、语音转文字（transcript）、摘要等。关键在于将输入模态（modality）匹配到支持该模态的模型，再明确指定你期望返回的文本格式。

需收集的输入项

• 待理解的媒体内容：以 URL 或 base64 编码形式提供（支持图像、视频、音频，或已渲染为图像/PDF 的文档）。
• 输入模态：图像、视频或音频。这是首要的路由决策依据。
• 期望返回的文本类型：自由格式回答、单行图注、标签列表、结构化字段（JSON）、语音转文字结果，或摘要。
• 可选：具体问题或指令（用于视觉问答，Visual Q&A）；以及是否要求输出必须可被机器解析（若需要，请显式要求 JSON 格式）。

模型选择

按输入模态进行路由。调用前务必通过 runware-models 与 runware-run 技能确认当前可用模型及其 Schema —— 切勿硬编码过时的模型选择。

• 图像 → 文本（默认）：Qwen2.5-VL-7B-Instruct（runware:152@2）—— 托管型模型，经指令微调，适用于图注生成、视觉问答及结构化信息抽取；具备优异的性价比，是通用首选。
• 图像 → 文本（高端/强推理）：Gemini 3.1 Pro（google:gemini@3.1-pro）—— 旗舰级多模态模型，在文档理解、图表识别、高密度 OCR 及基于图像的多步推理任务中表现突出。
• 图像 → 文本（低成本/快速替代方案）：Qwen2.5-VL-3B-Instruct（runware:152@1）、LLaVA-1.6-Mistral-7B（runware:150@2）或 Gemini 3.1 Flash Lite（google:gemini@3.1-flash-lite），适用于高吞吐量标签生成场景。
• 视频 → 文本：Gemini 3.1 Pro（google:gemini@3.1-pro）—— 支持视频片段的摘要生成与问答；Memories 视频图注（memories:1@1）—— 提供带说话人标注的结构化图注，并可选生成章节式摘要。
• 音频 → 文本：Gemini 3.1 Pro（google:gemini@3.1-pro）。当前音频转文字能力由单一厂商提供 —— 仅 Gemini 系列支持 io:audio-to-text，因此纯音频场景下无非 Google 备选方案。
• 文档处理：先将文档渲染为图像或 PDF，再按“图像 → 文本”路径路由。Gemini 3.1 Pro 在多页文档与高密度排版（如表格、多栏）解析方面表现最佳。

工作流

1. 依据模态与模型类型确定调用路径。 对话式模型（Gemini、Qwen-VL、LLaVA）支持 io:image-to-text / io:video-to-text / io:audio-to-text，需通过 OpenAI 兼容端点（api.runware.ai/v1）以 chat 形式调用。专用图注模型（op:caption）则作为独立生成任务运行（拥有专属 taskType），而非 chat completion。
2. 解析 Schema（使用 runware-run），并在调用前确认确切的输入字段名及 message/content 结构。字段名须严格与 Schema 保持一致。
3. 在文档指定的输入字段下附加媒体内容：以 URL 或 base64 形式提供。本地文件需先上传。
4. 在指令中明确指定所需文本格式：例如“生成图注”、“列出 10 个标签”、“给出直接答案”，或“以 JSON 格式返回字段 X 和 Y”。对于 op:caption 类模型，请使用 Schema 中暴露的图注选项参数，而非自由提示（free-prompting）。
5. 采用合适的交付模式（delivery mode）。 图像及短音频理解响应迅速，可同步执行；长视频或长音频为基于耗时的任务，需异步提交并轮询 getResponse 直至完成（参见 runware-run 文档）。
6. 读取返回的文本结果，并验证其是否符合预期：检查关键字段是否存在、语音转文字是否完整、有无幻觉生成的细节等。

实践技巧

• 按输入内容选型，而非品牌偏好。 整个决策核心在于输入模态：图像与文档 → 视觉语言模型（VLM）；视频 → 支持视频的模型；音频 → Gemini。将视频输入至仅支持图像的模型将导致 Schema 校验失败。
• 显式声明输出格式。 “描述这张图”会返回散文式回答；若需标签，请写“列出 10 个关键词”；若需结构化抽取，请写“返回包含 date、total、vendor 字段的 JSON”，对话式模型将严格遵循。对输出格式描述不足是导致结果不可用的最主要原因。
• 两类接口，两套契约。 对话式 VLM（Gemini、Qwen-VL、LLaVA）将图像与文本指令共同封装于一条 chat 消息中，以对话方式作答 —— 使用 OpenAI 兼容端点；op:caption 类模型（Qwen-VL 与 Memories 也提供该能力）则是单次生成任务，由图注选项参数驱动，不接受自由指令。
• 处理文档与高密度 OCR 场景时，优先选用推理增强型模型。 Gemini 3.1 Pro 在小字号文本、表格及多栏排版的识别可靠性上显著优于小型托管 VLM。建议将每页文档渲染为图像，或直接传入 PDF。
• 视频处理中，“摘要”与“图注”应区分使用。 Gemini 适用于开放性问答与视频片段摘要；Memories 则生成带说话人标注及章节标记的结构化图注 —— 当你需要可导航、带标签的输出（而非自由文本回答）时选用它。
• 坚持事实 grounding。 要求模型仅报告媒体中实际可见或可听的内容，并在缺失信息时明确说明。禁止其虚构无法识别的文字、物体或画外细节。

关键参数

• 输入字段（Input field） —— 媒体内容需置于模型文档所定义的输入字段下（例如 chat message content 中的图像/视频/音频引用，或 caption 任务的专用输入字段）。务必对照实时 Schema 确认字段名，切勿猜测。
• 指令 / 问题（Instruction / question） —— 设定任务类型的文本提示（如图注、视觉问答或字段抽取）。对于 op:caption 类模型，请使用 Schema 定义的图注选项参数，而非自由提示。
• op:caption 仅支持文本输出。 所有媒体输出参数（output type/format/quality、upload endpoint）均不适用，且会在 caption 基础类型中被移除。目前仅 memories:1@1 强制执行此限制；其他 caption 类模型虽可能接受但忽略这些参数，但请勿依赖该行为。
• 交付模式（Delivery mode） —— 图像与短片段使用同步模式；长视频/长音频必须使用异步模式 + 轮询机制。
• 对于对话式调用，OpenAI 兼容端点支持常规 completion 控制参数（如 token 限制、temperature）；在做事实性抽取时，请保持 temperature 设置较低。

质量标准

• 所用模型确实支持对应输入模态（需依据其实际能力验证，不可假设）—— 不得将视频输入至仅支持图像的模型。
• 输出严格符合请求格式（图注为单行、标签为列表、JSON 可成功解析、语音转文字完整无截断）。
• 所有陈述均有媒体内容支撑：不得虚构文字、物体或说话人；对不可读或不存在的细节，应如实声明，而非捏造。
• 针对长媒体任务，必须采用异步提交并轮询至完成，不得阻塞同步调用。

相关技能

runware-run、runware-models、runware-prompting；llm-agent（在媒体内容被准确描述后，用于纯文本推理与工具调用，是 OpenAI 兼容端点上的兄弟能力）。