Yyds.Auto — 面向 AI Agent 的 Android RPA 技能

让大语言模型（LLM）通过 MCP 协议直接控制 Android 设备。

Yyds.Auto 是一款生产级 Android RPA（机器人流程自动化）平台，对外暴露 60 个 MCP 工具，覆盖 Android 设备自动化全场景——从像素级触控注入与 OCR，到 UI 层级检查、文件管理，以及设备端 AI Agent 编排。

它能做什么？

架构

AI Agent（Claude / GPT / Gemini / Cursor / Windsurf / ...）
  ↓ MCP 协议（stdio，JSON-RPC）
yyds-auto-mcp（Node.js，本技能）
  ↓ HTTP REST（JSON，端口 61140）
yyds.py 引擎（Android，aiohttp 服务端）
  ↓ IPC
yyds.auto 引擎（Android，内核级 UI 自动化）

MCP 服务端通过 HTTP REST 与设备端引擎通信。USB 连接时自动配置 ADB 端口转发；也支持 WiFi/LAN 下的远程设备。

前提条件

1. Android 设备：已安装 Yyds.Auto 并正在运行其引擎
2. 连接方式：USB（自动 ADB 转发）或 WiFi（需处于同一局域网）
3. Node.js：版本 ≥ 18

快速开始

安装 MCP 服务端

npm install -g yyds-auto-mcp

连接 USB 设备（自动识别）

# 默认地址：127.0.0.1:61140，自动配置 ADB 端口转发
yyds-auto-mcp

连接远程设备

YYDS_DEVICE_HOST=192.168.1.100 YYDS_DEVICE_PORT=61140 yyds-auto-mcp

Claude Desktop 配置

在 claude_desktop_config.json 中添加如下配置：

{
  "mcpServers": {
    "yyds-auto": {
      "command": "npx",
      "args": ["-y", "yyds-auto-mcp"],
      "env": {
        "YYDS_DEVICE_HOST": "127.0.0.1",
        "YYDS_DEVICE_PORT": "61140"
      }
    }
  }
}

Cursor / Windsurf / VS Code 配置

在编辑器的 MCP 设置中添加相同的 MCP 服务端配置。

环境变量

工具参考

设备信息

• device_info — 完整设备信息：引擎版本、屏幕尺寸、IMEI、前台应用
• get_foreground_app — 当前前台应用及 Activity
• get_screen_size — 设备屏幕分辨率
• is_network_online — 检查网络连通性

触控与输入

• tap (x, y, count?, interval?) — 在指定坐标点击（支持多次点击）
• swipe (x1, y1, x2, y2, duration?) — 执行滑动操作
• long_press (x, y, duration?) — 在指定坐标长按
• drag (x1, y1, x2, y2, duration?) — 从点 A 拖拽至点 B
• input_text (text) — 向当前焦点字段输入文本
• set_clipboard / get_clipboard — 剪贴板读写操作
• press_key (key) — 模拟按键（home、back、enter 等）

截图

• take_screenshot (quality?) — 返回 base64 编码的 JPEG 图像（LLM 可直接解析）
• save_screenshot (path?) — 将截图保存至设备存储

UI 自动化

• dump_ui_hierarchy — 输出完整 UI 层级树（当内容 >15KB 时自动裁剪，仅保留可操作元素以节省 LLM token）
• find_ui_elements (text?, resourceId?, className?, clickable?, ...) — 按属性查找 UI 元素
• get_element_relation (hashcode, type?) — 查询某元素的父节点/子节点/兄弟节点
• wait_for_element (text?, resourceId?, timeout?) — 等待指定元素出现
• scroll_to_find (text?, direction?, maxScrolls?) — 滚动查找指定元素

OCR 与图像

• screen_ocr (x?, y?, w?, h?) — 对屏幕区域进行 OCR 文字识别（支持指定区域）
• tap_text (text, index?) — OCR 识别后点击匹配的文字
• image_ocr (path) — 对本地图像文件进行 OCR 识别
• find_image_on_screen (templates, threshold?) — 模板匹配
• get_pixel_color (x, y) — 获取指定坐标的像素颜色值
• compare_images (image1, image2) — 图像相似度比对
• wait_for_screen_change (timeout?, threshold?) — 等待屏幕内容发生变化

Shell

• run_shell (command) — 以提升权限执行 shell 命令

应用管理

• launch_app / stop_app (packageName) — 启动/停止应用
• list_installed_apps — 列出所有非系统应用
• is_app_running (packageName) — 检查应用是否正在运行
• open_url (url) — 在浏览器中打开 URL
• show_toast (message) — 显示 Toast 提示
• install_apk / uninstall_app — 安装/卸载应用

文件操作

• list_files / read_file / write_file — 浏览、读取、写入文件
• file_exists / delete_file / rename_file / create_directory

脚本项目

• list_projects / project_status — 查看 Python 项目列表及状态
• start_project / stop_project — 控制项目运行
• run_python_code (code) — 在设备上执行 Python 代码片段

Pip 管理

• pip_list / pip_install / pip_uninstall / pip_show

AI Agent

• agent_run (instruction) — 使用自然语言指令运行设备端 AI Agent
• agent_stop / agent_status — 控制并监控 Agent 状态
• agent_get_config / agent_set_config — 配置 AI 服务商与模型
• agent_get_providers / agent_get_models — 列出可用服务商与模型
• agent_test_connection — 验证 AI 模型连接状态

核心特性

🔄 自动重连

USB 连接中断时表现稳健：设备断开后，MCP 服务端将自动重建 ADB 端口转发，并重试失败请求。

🚀 自动引导

首次通过 USB 连接时，服务端自动完成 ADB 端口转发配置，并在设备未运行引擎时自动启动它。

🧠 智能 UI 层级导出

当 UI 层级树超过 15KB 时，系统自动裁剪，仅保留具备实际操作价值的元素（含 text、resource-id、content-desc 或 clickable/scrollable 属性者），显著降低 LLM token 消耗。

🎯 内核级触控注入

触控事件直接注入 Linux 内核层，因此可在任意应用中生效，包括游戏、受限制应用，以及屏蔽无障碍输入的区域。

示例提示词

连接成功后，可尝试以下提示词驱动你的 AI Agent：

• “截取一张屏幕截图，并描述屏幕上显示的内容”
• “打开微信，并向第一个聊天会话发送‘Hello’”
• “找出屏幕上所有按钮，并列出它们的标签文字”
• “对屏幕进行 OCR 识别，并找出其中所有的电话号码”
• “向上滑动 3 次，浏览信息流”
• “安装位于 /sdcard/Download/app.apk 的 APK 文件”
• “在设备上运行以下 Python 代码：print('Hello from Android!')”

相关链接

• 🌐 官网: yydsauto.com
• 📦 npm: yyds-auto-mcp
• 🐙 GitHub: yyds-auto-mcp