PC Control — 远程桌面控制

通过截图（mss）+ 鼠标/键盘模拟（pyautogui），从 WSL/Linux 控制 Windows 桌面。一个 FastAPI 服务运行在 Windows 上；Python 客户端从 WSL 调用该服务。

配置

1. 配置 config.json

编辑技能目录下的 config.json 文件，将 python_path 设置为 Windows 上带有 pip 的 Python 可执行路径：

{
  "server": {
    "host": "127.0.0.1",
    "port": 18888,
    "python_path": "C:\Python312\python.exe"
  },
  "powershell": "/mnt/c/Windows/System32/WindowsPowerShell/v1.0/powershell.exe",
  "auto_shutdown_minutes": 10,
  "screenshot": {
    "default_scale": 0.5,
    "default_quality": 50
  }
}

2. 安装依赖

python3 scripts/install.py

将 fastapi uvicorn mss pyautogui pillow 安装到 Windows 的 Python 环境中。

使用方法

启动服务端

python3 scripts/launcher.py start

截取屏幕并分析

import sys; sys.path.insert(0, 'skills/pc-control/scripts')
from client import PCControl
pc = PCControl()
img_path = pc.screenshot(scale=0.5, quality=50)
# 使用图像分析工具理解当前屏幕内容

注意： 截图经过缩放处理。点击时需将目标坐标除以缩放因子，才能得到实际屏幕坐标。例如：若缩放因子为 0.5，目标在图像中的位置为 (400, 300)，则应点击屏幕坐标 (800, 600)。

执行操作

pc.click(x, y)                # 左键单击
pc.double_click(x, y)         # 左键双击
pc.right_click(x, y)          # 右键单击
pc.move(x, y)                 # 移动光标
pc.scroll(x, y, clicks)       # 滚动（负值表示向下滚动）
pc.drag(x1, y1, x2, y2)      # 拖拽
pc.type_text("hello")         # 输入文本
pc.press("enter")             # 按下按键
pc.hotkey("ctrl", "c")        # 组合键

每次操作后均需验证

每次执行操作后，务必再次截屏以确认操作成功，再继续后续流程。

停止服务端

python3 scripts/launcher.py stop

交互循环

截图 → 分析 → 决定操作 → 执行 → 截图验证 → 继续或结束

注意事项

• 服务端仅监听本地回环地址（localhost），并采用 Token 认证（Token 每次会话自动生成）
• 使用 Win+R → 输入应用名称 → 回车，比点击任务栏图标更可靠
• 单击后请等待 1–2 秒再重新截图
• 优先使用 CLI 或 PowerShell 完成任务；本功能仅用于纯 GUI 场景