Linux 桌面控制

使用命令行工具自动化并控制您的 Linux 桌面。支持截取屏幕截图、控制鼠标/键盘、管理窗口等操作。

适用场景

• 截取整个屏幕或特定窗口的截图
• 自动化鼠标移动与点击操作
• 模拟键盘输入
• 管理并交互式操作窗口
• 构建桌面自动化工作流

前提条件

安装所需工具：

sudo apt-get install scrot xdotool xclip x11-utils x11-apps

快速开始

截取屏幕截图

python3 scripts/linux-desktop.py screenshot
# 输出：~/screenshot_20240224_203901.png

列出所有窗口

python3 scripts/linux-desktop.py list

移动鼠标并点击

python3 scripts/linux-desktop.py move 500 300
python3 scripts/linux-desktop.py click

输入文本

python3 scripts/linux-desktop.py type "Hello World"

命令说明

screenshot [path]

截取整个屏幕的截图。

示例：

# 保存至默认路径（/tmp/screenshot_YYYYMMDD_HHMMSS.png）
python3 scripts/linux-desktop.py screenshot

# 保存至自定义路径
python3 scripts/linux-desktop.py screenshot ~/desktop.png

window [window_id] [path]

截取指定窗口的截图。

示例：

# 截取当前活动窗口
python3 scripts/linux-desktop.py window

# 截取指定窗口（ID 为 0x12345678），并保存至 ~/window.png
python3 scripts/linux-desktop.py window 0x12345678 ~/window.png

active

获取当前活动窗口的信息。

python3 scripts/linux-desktop.py active
# 输出：🖥️ Active Window
#         ID: 0x12345678
#         Title: Terminal

list

列出所有可见窗口。

python3 scripts/linux-desktop.py list
# 输出：🪟 Found 5 windows:
#         1. 0x12345678 - Terminal
#         2. 0x87654321 - Chrome

move

将鼠标光标移动到指定坐标位置。

示例：

python3 scripts/linux-desktop.py move 100 200
# 将鼠标移动至 (100, 200)

python3 scripts/linux-desktop.py move 500 300
# 将鼠标移动至 1000×600 区域中心

click [button]

在当前光标位置点击鼠标按键。

按键值说明：

• 1 — 左键（默认）
• 2 — 中键
• 3 — 右键

示例：

python3 scripts/linux-desktop.py click
# 左键单击

python3 scripts/linux-desktop.py click 3
# 右键单击

type

在当前光标位置输入文本（需目标窗口已获得焦点）。

示例：

python3 scripts/linux-desktop.py type "Hello World"

python3 scripts/linux-desktop.py type "ls -la"

python3 scripts/linux-desktop.py type "sudo apt update"

key

按下键盘按键。

常用按键名称：

• Return — 回车键（Enter）
• Escape — Esc 键
• Tab — Tab 键
• BackSpace — 退格键（Backspace）
• Delete — 删除键（Delete）
• Up、Down、Left、Right — 方向键
• Home、End、Page_Up、Page_Down
• F1 至 F12
• Ctrl+c、Ctrl+v、Ctrl+a、Ctrl+z — 组合键

示例：

python3 scripts/linux-desktop.py key Return

python3 scripts/linux-desktop.py key Escape

python3 scripts/linux-desktop.py key Ctrl+a

python3 scripts/linux-desktop.py key F5

screen

获取屏幕信息。

python3 scripts/linux-desktop.py screen
# 输出：🖥️ Screen Info
#         Resolution: 1920x1080

自动化示例

基础自动化

# 移动鼠标 → 单击 → 输入文本 → 按回车
python3 scripts/linux-desktop.py move 100 100
python3 scripts/linux-desktop.py click
python3 scripts/linux-desktop.py type "ls -la"
python3 scripts/linux-desktop.py key Return

网页搜索自动化

# 打开浏览器 → 访问 Google → 搜索关键词
python3 scripts/linux-desktop.py move 100 50
python3 scripts/linux-desktop.py click
python3 scripts/linux-desktop.py type "https://www.google.com"
python3 scripts/linux-desktop.py key Return
sleep 2
python3 scripts/linux-desktop.py type "how to make money online"
python3 scripts/linux-desktop.py key Return

截图工作流

# 在执行操作前后分别截图
python3 scripts/linux-desktop.py screenshot /tmp/before.png
python3 scripts/linux-desktop.py key F5  # 刷新页面
sleep 1
python3 scripts/linux-desktop.py screenshot /tmp/after.png

使用提示

• 输入文本前，请始终确认当前活动窗口是否为目标窗口
• 操作之间加入 sleep 命令以提升可靠性
• 通过截图验证状态是否发生变化
• 构建复杂工作流前，请逐条测试各命令
• 利用 list 命令获取窗口 ID，以便精准定位目标窗口

故障排查

出现 “Command not found” 错误：

sudo apt-get install scrot xdotool xclip x11-utils x11-apps

权限被拒绝（Permission denied）：

• 请确保当前运行于图形会话中（X11 或 Wayland）
• 部分操作要求目标窗口处于聚焦状态

鼠标无法移动：

• 检查是否有其他应用程序正在独占鼠标输入
• 尝试手动移动鼠标，确认其响应是否正常

安全须知

• 本功能可完全控制系统桌面，请谨慎使用
• 切勿在未经人工核验的情况下，对敏感操作进行自动化
• 运行自动化脚本前，请务必完整审阅其内容