hermes agent 控制 android 手机的关键是打通“思考”与“动手”链路：hermes 负责指令理解与步骤拆解，android bridge 负责本地读屏、点按、输入、截图，全程离线、低延迟、高隐私。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
用 Hermes Agent 控制另一台 Android 手机，关键不在“装两个 App”，而在于打通“思考”和“动手”的链路：Hermes 负责理解指令、拆解步骤；Android Bridge 负责在目标手机上真正读屏、点按、输入、截图。整个过程不依赖云服务，所有操作发生在本地设备之间，隐私可控，延迟低。
一、桥接前的双端准备
这不是单边配置，必须同步完成两端设置：
- 控制端（运行 Hermes 的设备）：可以是电脑（Linux/macOS/WSL2）、树莓派，或另一台装了 Termux 的 Android 手机。需能运行 Python 3.11+ 和 Hermes CLI，并可访问目标手机的 IP 或 localhost（若同设备运行）。
- 被控端（要被自动操作的手机）：Android 10+，开启无障碍服务、USB 调试（仅首次配对需要）、屏幕保持常亮。推荐使用废旧手机，避免干扰日常使用。
- 两台设备需处于同一局域网（Wi-Fi），或通过 USB 网络共享直连。Bridge 默认走 HTTP（端口 8766），不走公网，无需开放防火墙。
二、安装并启动 Android Bridge App
去 GitHub 搜索 hermes-android 官方仓库，下载最新 release 中的 BridgeApp.apk（非 debug 版）。安装后打开，按提示授予以下权限：
- 无障碍服务（必需）：用于读取界面元素、识别按钮和文本
- 悬浮窗（可选但推荐）：方便查看当前连接状态与调试日志
- 存储读写（仅截图/录屏时需要）
启动后，App 主界面会显示本机 IP 和监听端口（如 http://192.168.1.23:8766）。这就是 Hermes 后续调用的 relay 地址。
Android 开发调试技能，通过系统 ADB 工具操作 Android 设备。以下场景必须触发此技能：(1) 直接 ADB 操作——安装 APK、查看设备列表、抓取 logcat 日志、查看已安装应用、清除应用数据、截图、重启设备、拉取/推送文件、查看 CPU/内存/电池信息、adb shell 操作；(2)...
三、在 Hermes 中注册 Android 工具集
进入 Hermes 项目目录，在 Python 环境中编辑工具注册逻辑（通常为 tools/android_tools.py 或自定义插件模块），显式声明并绑定以下核心工具：
- android_screenshot()：返回 PNG 字节流，供模型分析当前画面
- android_tap(x, y) 或 android_tap_text("设置")：支持坐标点击或语义点击（基于无障碍节点匹配）
- android_type("hello")：向焦点输入框填入文字
- android_open_app("com.android.settings")：通过包名拉起应用
- android_swipe(start_x, start_y, end_x, end_y)：模拟滑动
每项工具需提供清晰的 JSON Schema 描述参数类型与用途，确保大模型能准确理解何时调用、如何传参。
四、验证与调试常见卡点
配置完成后，用一条简单指令测试通路是否跑通：
- 在 Hermes CLI 中输入：打开设置，截图并描述当前页面
- 预期执行链：
android_open_app("com.android.settings") → android_screenshot() → 图像识别 → 返回文字总结 - 若失败，优先检查三项：
– BridgeApp 是否在前台运行且无障碍已启用
– Hermes 工具中 relay URL 是否指向被控手机真实 IP（不是 127.0.0.1）
– 被控手机是否锁屏或息屏（无障碍服务在锁屏下通常失效）
首次调试建议关闭省电模式、禁用电池优化，避免系统后台杀掉 Bridge 进程。
