Midscene Automations Skills for Browser with Bridge

Polar Sponsor
爱发电 赞助
.NET 9.0

使用 Midscene Bridge 模式的视觉驱动浏览器自动化。仅凭截图操作,无需 DOM 或无障碍标签。可与...交互

Chrome Bridge自动化

功能概述

Chrome Bridge自动化是一项面向实际任务的技能,主要用于规则- 违反规则会打破工作流程;绝不在背景中运行中场命令;

核心要点

  • 每个命令必须同步运行, 以便读取输出( 例)。
  • 它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。
  • 使用时应结合输入条件选择合适的执行方式,核对必要参数、依赖环境与输出内容,并按原始要求处理异常情况。

使用与执行

该技能适合需要稳定复用相关能力的场景,可作为自动化工作流的一部分,也便于后续检查、调整和扩展。从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;

结果检查与注意事项

若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。

Chrome Bridge 自动化

关键规则 — 违反将导致工作流中断:

  1. 切勿在后台执行 midscene 命令。 每个命令必须同步运行,以便你在决定下一步操作前能读取其输出(尤其是截图)。后台执行会破坏「截图→分析→操作」闭环。
  2. 一次仅运行一个 midscene 命令。 务必等待上一条命令完成、查看截图后,再决定下一步操作。禁止将多个命令串联执行。
  3. 为每条命令预留充足执行时间。 midscene 命令涉及 AI 推理与屏幕交互,耗时通常远超普通 Shell 命令。典型命令约需 1 分钟;复杂的 act 命令可能需要更长时间。
  4. 任务完成后必须主动汇报结果。 完成自动化任务后,你 必须 主动向用户总结结果 —— 包括发现的关键数据、已完成的操作、已拍摄的截图,以及任何相关发现。严禁在最后一步自动化操作后静默退出;用户期望在单次交互中获得完整响应。

通过 Midscene Chrome 扩展(Bridge 模式)控制用户本地真实的 Chrome 浏览器,完整保留 cookies、会话及登录状态。你(AI Agent)作为“大脑”,基于截图内容决策后续操作。

命令格式

关键要求 — 每条命令必须严格遵循以下格式。禁止修改命令前缀。

npx @midscene/web@1 --bridge  [args]
  • --bridge 参数在此处为 必需项 —— 它启用 Bridge 模式,用于连接用户桌面端的 Chrome 浏览器

前置条件

用户已预先配置好 Chrome 浏览器及 Midscene 扩展。无需在连接前检查浏览器或扩展状态 —— 直接连接即可。

Midscene 需要具备强视觉定位能力的模型。以下环境变量必须配置完成 —— 可设为系统级环境变量,或置于当前工作目录下的 .env 文件中(Midscene 会自动加载 .env):

MIDSCENE_MODEL_API_KEY="your-api-key"
MIDSCENE_MODEL_NAME="model-name"
MIDSCENE_MODEL_BASE_URL="https://..."
MIDSCENE_MODEL_FAMILY="family-identifier"

示例:Gemini(Gemini-3-Flash)

MIDSCENE_MODEL_API_KEY="your-google-api-key"
MIDSCENE_MODEL_NAME="gemini-3-flash"
MIDSCENE_MODEL_BASE_URL="https://generativelanguage.googleapis.com/v1beta/openai/"
MIDSCENE_MODEL_FAMILY="gemini"

示例:Qwen 3.5

MIDSCENE_MODEL_API_KEY="your-aliyun-api-key"
MIDSCENE_MODEL_NAME="qwen3.5-plus"
MIDSCENE_MODEL_BASE_URL="https://dashscope.aliyuncs.com/compatible-mode/v1"
MIDSCENE_MODEL_FAMILY="qwen3.5"
MIDSCENE_MODEL_REASONING_ENABLED="false"
# 若使用 OpenRouter,请设置如下:
# MIDSCENE_MODEL_API_KEY="your-openrouter-api-key"
# MIDSCENE_MODEL_NAME="qwen/qwen3.5-plus"
# MIDSCENE_MODEL_BASE_URL="https://openrouter.ai/api/v1"

示例:Doubao Seed 2.0 Lite

MIDSCENE_MODEL_API_KEY="your-doubao-api-key"
MIDSCENE_MODEL_NAME="doubao-seed-2-0-lite"
MIDSCENE_MODEL_BASE_URL="https://ark.cn-beijing.volces.com/api/v3"
MIDSCENE_MODEL_FAMILY="doubao-seed"

常用模型:Doubao Seed 2.0 Lite、Qwen 3.5、Zhipu GLM-4.6V、Gemini-3-Pro、Gemini-3-Flash。

若模型未配置,请提示用户完成配置。支持的模型提供商详见《模型配置》文档。

命令列表

连接至网页

npx @midscene/web@1 --bridge connect --url https://example.com

截取屏幕截图

npx @midscene/web@1 --bridge take_screenshot

截图完成后,请读取保存的图像文件以理解当前页面状态,再决定下一步操作。

执行操作

使用 act 与页面交互并获取结果。它在内部自主处理全部 UI 交互 —— 包括点击、输入、滚动、悬停、等待和导航 —— 因此你应将复杂、高层级的任务整体交由它完成,而非拆分为细碎步骤。请用自然语言描述你希望达成的目标及其预期效果:

# 具体指令
npx @midscene/web@1 --bridge act --prompt "点击 Login 按钮,并在 email 字段中填入 'user@example.com'"
npx @midscene/web@1 --bridge act --prompt "向下滚动并点击 Submit 按钮"

# 或目标驱动型指令
npx @midscene/web@1 --bridge act --prompt "点击国家下拉框并选择 Japan"

断开连接

npx @midscene/web@1 --bridge disconnect

工作流模式

Bridge 模式连接用户本地真实的 Chrome 浏览器。每个 CLI 命令均建立独立的临时连接,但浏览器、标签页及所有状态(cookies、登录会话)始终被完整保留,无论是否执行 disconnect。因此重连轻量且无损。

请遵循以下流程:

  1. 连接 至指定 URL 以建立会话
  2. 截取截图 查看当前页面状态,确认页面已完全加载
  3. 执行操作 使用 act 完成目标动作或目标驱动型指令
  4. 汇报结果 —— 总结已完成事项,呈现任务过程中提取的关键数据与发现,并列出所有生成文件(截图、日志等)及其绝对路径
  5. 仅在整体任务彻底完成时断开连接 —— 若用户后续可能有其他操作,请保持会话活跃,供后续对话轮次继续交互。切勿提前断开

最佳实践

  1. 务必先连接:任何交互前,须先用 connect --url 导航至目标 URL。
  2. 对 UI 元素描述具体明确:避免使用模糊表述如 "the button",应写为 "contact form 中的蓝色 Submit 按钮"。
  3. 使用自然语言描述:基于页面实际可见内容表达,而非 CSS 选择器。例如写 "红色的 Buy Now 按钮",而非 "#buy-btn"。
  4. 妥善处理加载状态:在触发页面跳转或加载的操作后,应截取截图验证页面是否已就绪。
  5. 仅在完全结束时断开连接:仅当用户整体任务彻底完成、且无任何后续操作预期时才执行 disconnect。在多轮对话中,应跳过断开步骤,以便持续进行浏览器交互。断开连接是安全的 —— 它仅关闭 CLI 端的 Bridge 连接,不会影响浏览器或标签页本身;但若用户后续还需继续操作,重复连接将带来不必要的开销。
  6. 禁止后台执行:所有 midscene 命令必须同步运行 —— 后台执行会破坏「截图→分析→操作」闭环。
  7. 将关联操作批量整合进单条 act 命令:若在同一页内需连续执行多项操作,请合并为一条 act 提示词,而非拆分为多条命令。例如,“填写 email 和 password 字段,然后点击 Login 按钮” 应作为单次 act 调用,而非三次独立命令。此举可减少往返次数、避免冗余的截图-分析循环,显著提升执行效率。
  8. 任务完成后必须主动汇报结果:自动化任务结束后,你 必须 主动向用户提供完整结果,无需等待用户询问。内容须包括:(1) 对用户原始问题的回答或所请求任务的最终结果;(2) 执行过程中提取或观察到的关键数据;(3) 截图及其他生成文件的绝对路径;(4) 所执行步骤的简要说明。严禁在最后一条自动化命令后静默退出 —— 用户期望在单次交互中获得完整结果。

示例 — 下拉框选择:

npx @midscene/web@1 --bridge act --prompt "点击国家下拉框并选择 Japan"
npx @midscene/web@1 --bridge take_screenshot

示例 — 表单交互:

npx @midscene/web@1 --bridge act --prompt "在 email 字段中填入 'user@example.com',在 password 字段中填入 'pass123',然后点击 Log In 按钮"
npx @midscene/web@1 --bridge take_screenshot

故障排查

Bridge 模式连接失败

超时问题

  • 网页加载可能耗时较长。连接后请先截图确认页面就绪,再进行交互。
  • 对于加载缓慢的页面,建议在各步骤间短暂等待。

截图无法显示

  • 截图路径为本地绝对路径。请使用 Read 工具打开查看。

相关专题

更多
Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

2026.10.22

0

11

Gradle Wrapper配置教程
Gradle Wrapper配置教程

本专题介绍Gradle Wrapper的基本作用,涵盖文件组成、生成方法、版本配置和任务调用,帮助你理解项目如何使用指定的Gradle版本,减少不同开发环境带来的构建差异。

2026.10.22

0

10

Golangci-lint检查器使用教程
Golangci-lint检查器使用教程

本专题整理Golangci-lint常用Linters的用途与配置方法,覆盖错误处理、无效代码、安全、复杂度、命名和依赖检查,帮助项目合理选规则。

2026.10.22

0

15

Gradle怎么构建Java项目
Gradle怎么构建Java项目

本专题介绍Gradle Java项目构建方法,涵盖Java插件配置、依赖声明、源码编译、测试执行和打包检查,帮助你理解各阶段的任务关系,逐步完成项目构建。

2026.10.22

0

10

PHP时间戳漏洞修复教程
PHP时间戳漏洞修复教程

本专题汇总PHP常见时间戳漏洞,包括2038年溢出、时区漂移、时间戳伪造、重放攻击、时间盲注与日志审计失效等,并给出升级64位环境、使用 DateTimeImmutable、统一UTC、严格超时校验、预处理绑定、hash_equals 比对等修复方案,帮助开发者快速排查和加固时间相关代码。

2026.10.22

0

25

Golangci-lint配置文件与规则设置
Golangci-lint配置文件与规则设置

本专题聚焦Golangci-lint YAML配置文件,讲清运行参数、规则启停、目录排除、问题过滤及严重级别设置,便于团队统一检查标准。

2026.10.22

0

15

Golangci-lint安装与入门教程
Golangci-lint安装与入门教程

本专题讲解Golangci-lint的安装、初始化、基础命令和首次代码检查,覆盖本地环境、Docker及多平台用法,帮助Go开发者快速上手。

2026.10.22

0

15

PHP2Shell高危漏洞修复教程
PHP2Shell高危漏洞修复教程

PHP2Shell漏洞是什么,哪些PHP版本和运行环境会受到影响,服务器应该如何检测与修复?本专题提供版本自查脚本、Linux与Docker升级命令、PHP-FPM和Apache排查步骤,以及修复验证、临时缓解和应急响应方案。

2026.10.22

0

12

剧云人物设定与关系管理教程
剧云人物设定与关系管理教程

本专题介绍剧云人物设定与关系管理,讲解角色小传、性格职业、人物目标、背景资料和关系网络的创建及维护方法。

2026.10.22

0

16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Codex官方文档
Codex官方文档

共0课时 | 0人学习

QClaw产品手册
QClaw产品手册

共0课时 | 0人学习