Agentic Browser

基于 inference.sh 的 AI Agent 浏览器自动化工具。底层使用 Playwright，通过简洁的 @e 元素引用系统实现页面交互。

快速开始

# 安装 CLI
curl -fsSL https://cli.inference.sh | sh && infsh login

# 打开页面并获取可交互元素
infsh app run agent-browser --function open --input '{"url": "https://example.com"}' --session new

核心工作流

所有浏览器自动化操作均遵循以下流程：

1. 打开（Open） —— 导航至指定 URL，并获取元素的 @e 引用
2. 交互（Interact） —— 使用 @e 引用执行点击、输入、拖拽等操作
3. 重新快照（Re-snapshot） —— 页面跳转或 DOM 变更后，重新获取最新元素引用
4. 关闭（Close） —— 结束会话（若启用录制，则返回视频文件）

# 1. 启动会话
RESULT=$(infsh app run agent-browser --function open --session new --input '{
  "url": "https://example.com/login"
}')
SESSION_ID=$(echo $RESULT | jq -r '.session_id')
# 元素示例：@e1 [input] "Email"，@e2 [input] "Password"，@e3 [button] "Sign In"

# 2. 填写表单并提交
infsh app run agent-browser --function interact --session $SESSION_ID --input '{
  "action": "fill", "ref": "@e1", "text": "user@example.com"
}'
infsh app run agent-browser --function interact --session $SESSION_ID --input '{
  "action": "fill", "ref": "@e2", "text": "password123"
}'
infsh app run agent-browser --function interact --session $SESSION_ID --input '{
  "action": "click", "ref": "@e3"
}'

# 3. 页面跳转后重新快照
infsh app run agent-browser --function snapshot --session $SESSION_ID --input '{}'

# 4. 完成后关闭会话
infsh app run agent-browser --function close --session $SESSION_ID --input '{}'

函数列表

交互操作类型

元素引用（Element Refs）

元素以 @e 引用形式返回：

@e1 [a] "Home" href="/"
@e2 [input type="text"] placeholder="Search"
@e3 [button] "Submit"
@e4 [select] "Choose option"
@e5 [input type="checkbox"] name="agree"

注意： 页面跳转后，所有 @e 引用将失效。以下情况发生后务必调用 snapshot：

• 点击跳转链接或按钮
• 提交表单
• 动态加载内容（如 AJAX、SPA 路由变更）

功能特性

视频录制

录制浏览器会话，用于调试或文档生成：

# 启用录制启动会话（可选显示光标指示器）
SESSION=$(infsh app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "record_video": true,
  "show_cursor": true
}' | jq -r '.session_id')

# ... 执行操作 ...

# 关闭会话以获取视频文件
infsh app run agent-browser --function close --session $SESSION --input '{}'
# 返回：{"success": true, "video": }

光标指示器

在截图和视频中显示可见光标（适用于演示场景）：

infsh app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "show_cursor": true,
  "record_video": true
}'

光标以红色圆点形式呈现，随鼠标移动，并在点击时提供视觉反馈。

代理支持

通过代理服务器路由网络请求：

infsh app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "proxy_url": "http://proxy.example.com:8080",
  "proxy_username": "user",
  "proxy_password": "pass"
}'

文件上传

向文件输入框上传文件：

infsh app run agent-browser --function interact --session $SESSION --input '{
  "action": "upload",
  "ref": "@e5",
  "file_paths": ["/path/to/file.pdf"]
}'

拖拽操作

将元素拖拽至目标位置：

infsh app run agent-browser --function interact --session $SESSION --input '{
  "action": "drag",
  "ref": "@e1",
  "target_ref": "@e2"
}'

JavaScript 执行

运行自定义 JavaScript 代码：

infsh app run agent-browser --function execute --session $SESSION --input '{
  "code": "document.querySelectorAll("h2").length"
}'
# 返回：{"result": "5", "screenshot": }

深度文档

开箱即用模板

示例

表单提交

SESSION=$(infsh app run agent-browser --function open --session new --input '{
  "url": "https://example.com/contact"
}' | jq -r '.session_id')

# 获取元素：@e1 [input] "Name"，@e2 [input] "Email"，@e3 [textarea]，@e4 [button] "Send"

infsh app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e1", "text": "John Doe"}'
infsh app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e2", "text": "john@example.com"}'
infsh app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e3", "text": "Hello!"}'
infsh app run agent-browser --function interact --session $SESSION --input '{"action": "click", "ref": "@e4"}'

infsh app run agent-browser --function snapshot --session $SESSION --input '{}'
infsh app run agent-browser --function close --session $SESSION --input '{}'

搜索与内容提取

SESSION=$(infsh app run agent-browser --function open --session new --input '{
  "url": "https://google.com"
}' | jq -r '.session_id')

infsh app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e1", "text": "weather today"}'
infsh app run agent-browser --function interact --session $SESSION --input '{"action": "press", "text": "Enter"}'
infsh app run agent-browser --function interact --session $SESSION --input '{"action": "wait", "wait_ms": 2000}'

infsh app run agent-browser --function snapshot --session $SESSION --input '{}'
infsh app run agent-browser --function close --session $SESSION --input '{}'

截图 + 视频录制

SESSION=$(infsh app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "record_video": true
}' | jq -r '.session_id')

# 截取整页截图
infsh app run agent-browser --function screenshot --session $SESSION --input '{
  "full_page": true
}'

# 关闭会话并获取视频
RESULT=$(infsh app run agent-browser --function close --session $SESSION --input '{}')
echo $RESULT | jq '.video'

会话管理

浏览器状态在单个会话中保持持久。请始终遵循：

1. 首次调用使用 --session new
2. 后续调用复用上一步返回的 session_id
3. 任务完成后调用 close 显式关闭会话

相关技能（Skills）

# Web 搜索（适用于研究 + 浏览场景）
npx skills add inferencesh/skills@web-search

# LLM 模型（用于分析提取的内容）
npx skills add inferencesh/skills@llm-models

文档资源

• inference.sh Sessions —— 会话管理说明
• Multi-function Apps —— 多函数应用工作机制