使用 Midscene Bridge 模式的视觉驱动浏览器自动化。仅凭截图操作,无需 DOM 或无障碍标签。可与...交互
Chrome Bridge自动化是一项面向实际任务的技能,主要用于规则- 违反规则会打破工作流程;绝不在背景中运行中场命令;
该技能适合需要稳定复用相关能力的场景,可作为自动化工作流的一部分,也便于后续检查、调整和扩展。从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;
若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。
关键规则 — 违反将导致工作流中断:
- 切勿在后台执行 midscene 命令。 每个命令必须同步运行,以便你在决定下一步操作前能读取其输出(尤其是截图)。后台执行会破坏「截图→分析→操作」闭环。
- 一次仅运行一个 midscene 命令。 务必等待上一条命令完成、查看截图后,再决定下一步操作。禁止将多个命令串联执行。
- 为每条命令预留充足执行时间。 midscene 命令涉及 AI 推理与屏幕交互,耗时通常远超普通 Shell 命令。典型命令约需 1 分钟;复杂的
act命令可能需要更长时间。- 任务完成后必须主动汇报结果。 完成自动化任务后,你 必须 主动向用户总结结果 —— 包括发现的关键数据、已完成的操作、已拍摄的截图,以及任何相关发现。严禁在最后一步自动化操作后静默退出;用户期望在单次交互中获得完整响应。
通过 Midscene Chrome 扩展(Bridge 模式)控制用户本地真实的 Chrome 浏览器,完整保留 cookies、会话及登录状态。你(AI Agent)作为“大脑”,基于截图内容决策后续操作。
关键要求 — 每条命令必须严格遵循以下格式。禁止修改命令前缀。
npx @midscene/web@1 --bridge[args]
--bridge 参数在此处为 必需项 —— 它启用 Bridge 模式,用于连接用户桌面端的 Chrome 浏览器用户已预先配置好 Chrome 浏览器及 Midscene 扩展。无需在连接前检查浏览器或扩展状态 —— 直接连接即可。
Midscene 需要具备强视觉定位能力的模型。以下环境变量必须配置完成 —— 可设为系统级环境变量,或置于当前工作目录下的 .env 文件中(Midscene 会自动加载 .env):
MIDSCENE_MODEL_API_KEY="your-api-key" MIDSCENE_MODEL_NAME="model-name" MIDSCENE_MODEL_BASE_URL="https://..." MIDSCENE_MODEL_FAMILY="family-identifier"
示例:Gemini(Gemini-3-Flash)
MIDSCENE_MODEL_API_KEY="your-google-api-key" MIDSCENE_MODEL_NAME="gemini-3-flash" MIDSCENE_MODEL_BASE_URL="https://generativelanguage.googleapis.com/v1beta/openai/" MIDSCENE_MODEL_FAMILY="gemini"
示例:Qwen 3.5
MIDSCENE_MODEL_API_KEY="your-aliyun-api-key" MIDSCENE_MODEL_NAME="qwen3.5-plus" MIDSCENE_MODEL_BASE_URL="https://dashscope.aliyuncs.com/compatible-mode/v1" MIDSCENE_MODEL_FAMILY="qwen3.5" MIDSCENE_MODEL_REASONING_ENABLED="false" # 若使用 OpenRouter,请设置如下: # MIDSCENE_MODEL_API_KEY="your-openrouter-api-key" # MIDSCENE_MODEL_NAME="qwen/qwen3.5-plus" # MIDSCENE_MODEL_BASE_URL="https://openrouter.ai/api/v1"
示例:Doubao Seed 2.0 Lite
MIDSCENE_MODEL_API_KEY="your-doubao-api-key" MIDSCENE_MODEL_NAME="doubao-seed-2-0-lite" MIDSCENE_MODEL_BASE_URL="https://ark.cn-beijing.volces.com/api/v3" MIDSCENE_MODEL_FAMILY="doubao-seed"
常用模型:Doubao Seed 2.0 Lite、Qwen 3.5、Zhipu GLM-4.6V、Gemini-3-Pro、Gemini-3-Flash。
若模型未配置,请提示用户完成配置。支持的模型提供商详见《模型配置》文档。
npx @midscene/web@1 --bridge connect --url https://example.com
npx @midscene/web@1 --bridge take_screenshot
截图完成后,请读取保存的图像文件以理解当前页面状态,再决定下一步操作。
使用 act 与页面交互并获取结果。它在内部自主处理全部 UI 交互 —— 包括点击、输入、滚动、悬停、等待和导航 —— 因此你应将复杂、高层级的任务整体交由它完成,而非拆分为细碎步骤。请用自然语言描述你希望达成的目标及其预期效果:
# 具体指令 npx @midscene/web@1 --bridge act --prompt "点击 Login 按钮,并在 email 字段中填入 'user@example.com'" npx @midscene/web@1 --bridge act --prompt "向下滚动并点击 Submit 按钮" # 或目标驱动型指令 npx @midscene/web@1 --bridge act --prompt "点击国家下拉框并选择 Japan"
npx @midscene/web@1 --bridge disconnect
Bridge 模式连接用户本地真实的 Chrome 浏览器。每个 CLI 命令均建立独立的临时连接,但浏览器、标签页及所有状态(cookies、登录会话)始终被完整保留,无论是否执行 disconnect。因此重连轻量且无损。
请遵循以下流程:
act 完成目标动作或目标驱动型指令connect --url 导航至目标 URL。"the button",应写为 "contact form 中的蓝色 Submit 按钮"。"红色的 Buy Now 按钮",而非 "#buy-btn"。disconnect。在多轮对话中,应跳过断开步骤,以便持续进行浏览器交互。断开连接是安全的 —— 它仅关闭 CLI 端的 Bridge 连接,不会影响浏览器或标签页本身;但若用户后续还需继续操作,重复连接将带来不必要的开销。act 命令:若在同一页内需连续执行多项操作,请合并为一条 act 提示词,而非拆分为多条命令。例如,“填写 email 和 password 字段,然后点击 Login 按钮” 应作为单次 act 调用,而非三次独立命令。此举可减少往返次数、避免冗余的截图-分析循环,显著提升执行效率。示例 — 下拉框选择:
npx @midscene/web@1 --bridge act --prompt "点击国家下拉框并选择 Japan" npx @midscene/web@1 --bridge take_screenshot
示例 — 表单交互:
npx @midscene/web@1 --bridge act --prompt "在 email 字段中填入 'user@example.com',在 password 字段中填入 'pass123',然后点击 Log In 按钮" npx @midscene/web@1 --bridge take_screenshot