Qirabot

Polar Sponsor
爱发电 赞助
.NET 9.0

使用自然语言驱动任何图形界面——在网页浏览器、Android、iOS、桌面应用和游戏中进行点击、输入、提取和验证——通过 Qirabot Python SDK。

步骤 0 —— 飞行前( 总是先运行)

功能概述

步骤 0 —— 飞行前( 总是先运行)是一项面向实际任务的技能,主要用于不要在环境检查完前写一个自动化脚本;它验证 Python 版本 QIRA API KEY , 以 qirabot 可导入。

核心要点

  • 它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。
  • 使用时应结合输入条件选择合适的执行方式,核对必要参数、依赖环境与输出内容,并按原始要求处理异常情况。
  • 该技能适合需要稳定复用相关能力的场景,可作为自动化工作流的一部分,也便于后续检查、调整和扩展。

使用与执行

从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;

结果检查与注意事项

若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。

步骤 0 — 预检(务必首先运行)

在环境验证通过前,切勿编写自动化脚本。请运行:

python scripts/preflight.py browser     # 或:android | ios | desktop

该命令会校验 Python 版本、QIRA_API_KEY 环境变量、qirabot 模块是否可导入,以及目标平台特有组件(例如执行 adb devices)。若预检失败,请立即停止并修复其输出的错误项 —— 不要继续执行,否则将调试一个未完全配置成功的运行环境。

一个解释器,一个事实来源。 预检仅验证唯一一个 Python 解释器;成功后,会打印其绝对路径(格式为 interpreter: ... 并附带一条可直接运行的命令行)。请始终使用该精确路径来运行你的脚本,切勿仅用裸命令 python —— 否则实际运行可能落入与预检所验证环境不同的另一个 Python 环境中(这是最常见的“已就绪”误判陷阱)。任何已可用的环境均可(如已有 venv、用户全局 Python),关键在于复用已通过验证的那个环境,而非强制新建 venv。

仅当预检报告缺失依赖时才启动引导流程。优先选择隔离的 venv,而非用户全局 Python(并务必使用该 venv 中的 Python 再次运行 preflight,使其成为经验证的解释器):

# browser / iOS / desktop 可共用同一个 venv:
python3 -m venv .qira-venv && source .qira-venv/bin/activate   # Windows:.qira-venv\Scripts\activate
pip install "qirabot[browser]"      # → 同时安装:playwright install chromium
#   或  qirabot[appium]  (iOS:需额外部署 Appium server 与 WebDriverAgent) /  qirabot[desktop]

# airtest 后端(Android、iOS 及窗口级 Windows 桌面)需在 Python 3.10–3.12 上使用
# 专属 venv —— 因 airtest 锁定 numpy<2,共享环境将引发冲突:
python3.12 -m venv .qira-venv-airtest && source .qira-venv-airtest/bin/activate
pip install "qirabot[airtest]"

export QIRA_API_KEY="qk_..."        # 来自 https://app.qirabot.com

步骤 1 — 选定目标并从模板起步

目标 模板 额外说明
Web 浏览器(Qirabot 自动启动 Chromium) templates/browser.py qirabot[browser] + playwright install chromium。亦支持连接已存在的 Chrome 实例(通过 cdp_url,例如 Browserless/Browserbase)。
Android / iOS — Airtest(无需 Appium server,启动最快) templates/android.py(Android 入门模板;iOS 保持 API 不变,仅替换 connect_device 字符串) qirabot[airtest](需 Python 3.10–3.12)
Android / iOS 通过 Appium,或任意 Selenium driver(你自行构建 driver,再调用 bind()) templates/bolt_on.py qirabot[appium] / qirabot + selenium
桌面端 — Windows 与 macOS(bind() 你自己的 driver) templates/bolt_on.py qirabot[desktop](全屏,跨操作系统) · qirabot[airtest](仅限 Windows,单窗口)

复制对应模板,填写其中的 TODO(起始 URL / 应用包名,及具体任务描述),然后使用预检输出的解释器绝对路径(而非裸命令 python)运行脚本。templates/bolt_on.py 展示了“绑定现有 driver”的模式,以 Selenium 为可运行示例,并在注释中提供了 Appium(iOS/Android)、pyautogui(全屏桌面,跨操作系统)和 Airtest(窗口级 Windows 桌面)等变体;完整平台动作矩阵与 bind() 细节详见 references/REFERENCE.md。

步骤 2 — 将任务交由 qirabot 处理(默认方式),仅在需要优化时降级至底层原语

默认方式:将整个任务交由 bot.ai 处理。

from qirabot import StepResult

def on_step(step: StepResult) -> None:   # 实时追踪 → 输出到 stdout(见下文)
    label = "done" if step.finished else step.action_type
    print(f"  step {step.step}: {label} {step.params} — {step.decision}")

result = bot.ai(target, "将最便宜的商品加入购物车并结算",
                max_steps=15, on_step=on_step)
print(result.success, result.output)

bot.ai 将“感知 → 决策 → 执行”循环卸载给 qirabot,后者自主维护步骤历史并在某一步骤执行失败时自动恢复。

任务字符串应为简洁的目标陈述,而非分步脚本。 bot.ai 足够智能,能自行规划点击路径;过度指定(如“点击搜索框,输入 X,点击第一条结果,然后……”)会与模型对抗、固化脆弱路径、并额外消耗步骤。应描述成功状态是什么样,而非如何达成。良好示例:"将库存中最便宜的商品加入购物车并结算";不良示例:6 步逐点点击配方。

此处示例显式传入了 target(bot.ai(target, ...))。若你已先通过 bind() 绑定了稳定 target(如 android.py 和 bolt_on.py 模板所示),则可省略首参数:bot.ai("...")、bot.click("...")。(Playwright 场景请保留显式形式,以确保新标签页跳转行为可见——详见 references/REFERENCE.md。)

务必始终传入 on_step。 在其返回前,bot.ai 是一个黑盒——result 仅在最终返回。而 on_step 在每一步执行后触发,将模型当前的 decision 与动作实时打印至 stdout,这是你观察运行过程的唯一实时窗口:卡死、循环或失败的运行可直接通过控制台日志定位问题,无需打开 HTML 报告。(StepResult 还包含 .output 及 token/耗时统计——详见 references/REFERENCE.md。)

仅在明确需要优化时,才主动降级至单步原语 —— 例如你需要严格、可复现的确定性行为,或正在将稳定流程编码为可重复运行的脚本(如 CI 回归检查)。这些原语单次操作成本更低且可复现,但对 UI 变更极为脆弱:

bot.click(target, "Login button")
bot.type_text(target, "Email field", "a@b.com", press_enter=True)
bot.double_click(target, "the file name to rename")                # 双击
bot.long_press(target, "the message bubble", duration=2.5)         # 移动端:长按唤起上下文菜单
bot.key_down(target, "w"); bot.key_up(target, "w")                 # 桌面端:按键按下/释放(成对使用)
text = bot.extract(target, "the displayed account balance")        # 读取单一值
bot.wait_for(target, "the dashboard finished loading")             # 设定等待门限,超时抛出异常

extract() 用于从屏幕读取值;verify() 返回布尔值,供脚本分支判断。关于 bot.ai 后何时选用哪个方法,请参见步骤 3。

完整 API 文档(构造函数选项、bind()、导航/滚动/键盘操作、各平台动作矩阵及错误类型)详见 references/REFERENCE.md。

步骤 3 — 根据使用者身份检查结果

每次运行均生成一份自包含 HTML 报告,含各步骤截图,保存至 ./qira_runs///report.html(除非显式设置 report=False)。bot.ai 返回后留下三个信号——请根据后续处理主体选择使用方式:

  • 由人工或代理阅读结果 → 打开报告,查看各步骤截图。请勿信任 result.success:该字段由刚执行动作的同一模型生成,属于自我报告,可能在点击错误按钮后仍宣称成功。
  • 脚本需基于结果进行分支判断(CI 门禁、if logged_in skip login、条件流程)→ 使用 bot.verify(target, "...")。此为独立视觉调用,返回 bool,消耗一次 AI 调用。该布尔值必须驱动后续逻辑——否则即为一次付费却无实际用途的调用,而截图已免费向人工审核者传达了相同信息。
  • 脚本需读取某个值(价格、用户名、状态)→ 使用 bot.extract(target, "...")。注意避免定位歧义:extract("the logged-in username") 可能误抓搜索框的轮播提示词——请精炼定位短语,并结合截图交叉验证。

当运行失败(result.success=False,或截图明显异常)时,stdout 中的 on_step 追踪日志是最快的问题入口 —— 定位模型开始循环或选择错误动作的步骤,再跳转至报告中该步骤对应的截图。

在报告中嵌入屏幕录像。 报告会自动识别 bot.report_dir 目录下名为 recording.mp4 的文件,并将其作为 标签嵌入报告顶部(与步骤截图并列)——只需在 bot.close() 前将录像文件置于该路径即可:

  • 桌面端 / 浏览器 → 让 SDK 为你录制主机屏幕:Qirabot(record=True)(或设置环境变量 QIRA_RECORD=1)将自动调用 ffmpeg 生成 recording.mp4,无需额外代码。
  • Android / iOS(或任意原生框架) → 主机录制无法捕获设备画面,因此需使用设备自身录制器录制设备屏幕,并将录像写入 bot.report_dir/recording.mp4。请在 bot.ai 之前启动,在 bot.close() 之前停止(close 操作会扫描该文件):
    • Airtest(Android):device().start_recording(output=os.path.join(bot.report_dir, "recording.mp4"), max_time=1800),随后在 finally 块中调用 device().stop_recording(output=...)。
    • Appium(iOS/Android):driver.start_recording_screen(),然后将 base64.b64decode(driver.stop_recording_screen()) 写入同一路径。

详细说明请参阅 references/REFERENCE.md(record 行)。

注意事项

  • 一次脚本运行 = 一次 Qirabot 会话 = 一个任务。状态(当前页面/驱动实例)无法跨多次 python 调用持久化,因此请将整个任务封装于单个脚本中。若需在多次运行间复用登录态,请以持久化用户资料目录启动:bot.open(url, user_data_dir=os.path.expanduser("~/.qira-profiles/"))(首次登录后,后续运行将自动认证——详见 references/REFERENCE.md)。注意:请传入绝对路径 —— qirabot/Playwright 不解析 ~,因此字面量 "~/..." 将在当前工作目录下创建 ./~/ 子目录。请使用 os.path.expanduser。
  • 对不可逆或面向外部的操作(如发布评论、下单购买、删除数据),在用户身份下执行前务必确认:先采集/读取信息,清晰汇报即将执行的操作,获得用户明确授权后再执行。请将读取步骤与执行步骤严格分离。
  • 每次 AI 调用均消耗真实积分。留意 InsufficientBalanceError 异常。通过 Qirabot(model_alias=...) 选择成本最低且满足需求的模型 —— fast/balanced 适用于简单流程,仅在必要时升级(层级详见 REFERENCE)。长时间人工介入等待(如 QR/OTP)若采用轮询将产生计费 AI 调用 —— 请增大 wait_for 的 interval 参数,或改用直接轮询 live driver(详见 REFERENCE)。
  • bot.close()(或 with 语句形式)用于终结任务并生成报告 —— 即使发生错误也务必调用。

相关专题

更多
Docker Desktop怎么设置端口映射
Docker Desktop怎么设置端口映射

本专题聚焦Docker Desktop容器端口映射与访问配置,整理从创建容器、设置端口绑定到验证本地服务访问的操作流程。针对端口被占用、映射配置错误、容器服务无法访问等情况,也提供相应的检查方向,方便用户完成端口配置。

2026.11.03

0

18

Docker Desktop镜像构建教程
Docker Desktop镜像构建教程

想使用Docker Desktop将本地项目构建成Docker镜像?本专题围绕镜像构建的实际操作展开,介绍Dockerfile编写、构建命令使用、镜像标签设置和构建日志查看等内容,同时整理镜像无法生成、依赖安装失败及构建缓存异常等问题的排查思路。

2026.11.03

0

11

Docker Desktop容器创建指南
Docker Desktop容器创建指南

本专题聚焦Docker Desktop容器创建与运行配置,介绍通过本地镜像或远程镜像创建容器的方法,以及容器启动、终端访问、日志查看和基础管理等操作。针对端口冲突、参数配置不当、容器无法启动等情况,也整理了相应的排查方向。

2026.11.03

0

11

Tailwind CSS 如何制作导航栏和卡片
Tailwind CSS 如何制作导航栏和卡片

用 Tailwind CSS 制作导航栏和卡片,可先搭建语义化结构,再组合 Flex、Grid、间距、圆角与阴影类。这里整理横向导航、移动端菜单、卡片网格及悬停效果的相关文章,帮助你把常见页面组件做得清晰且适配不同屏幕。

2026.11.03

0

17

Tailwind CSS 响应式布局怎么写
Tailwind CSS 响应式布局怎么写

Tailwind CSS 响应式布局通常从移动端样式写起,再用 sm、md、lg 等前缀调整不同屏幕宽度下的网格、间距和导航。本专题整理断点配置、Grid 与 Flex 自适应布局及常见溢出问题,帮助你逐步完成多设备适配。

2026.11.03

0

19

Tailwind CSS 常用类名怎么记
Tailwind CSS 常用类名怎么记

Tailwind CSS 类名很多,先按布局、间距、文字、颜色和状态分组记忆,再通过官方文档检索具体写法。本专题结合类名排序、动态拼接失效、自定义实用类等问题,帮助你建立常用类名的速查方法。

2026.11.03

0

12

码上飞入口地址合集
码上飞入口地址合集

本专题汇总了码上飞(CodeFlying)的官方入口地址合集,涵盖官网主站及网页版在线使用入口,支持注册登录后直接在线体验零代码AI应用生成。同时整理了APP端下载渠道与小程序入口,助你快速访问平台,通过自然语言描述需求即可生成应用、小程序或网站。

2026.11.03

0

10

Uvicorn 报错与问题解决教程
Uvicorn 报错与问题解决教程

本专题汇总了Uvicorn服务器常见问题与报错解决的教程合集,涵盖启动失败、端口占用、模块导入错误、事件循环冲突及热重载失效等典型故障的排查思路。同时整理了多进程与Worker配置、SSL/HTTPS证书报错、跨域与代理配置等实战解决方案,助你快速定位并解决Uvicorn运行中的各类问题。

2026.11.02

0

14

Uvicorn使用教程
Uvicorn使用教程

本专题汇总了Uvicorn使用教程与启动运行指南,涵盖其作为Python ASGI服务器的定位与特点,以及命令行启动(uvicorn main:app --reload)、参数配置(host/port/workers)、程序内嵌运行与Gunicorn结合部署等核心用法。同时整理了热重载调试、日志配置与生产环境部署优化等技巧,助你快速掌握Uvicorn的运行与配置。

2026.11.02

0

17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.1万人学习