codegeex是代码生成工具,不直接执行鼠标/键盘操作,而是辅助生成基于pyautogui、pynput、autohotkey或macos无障碍api的自动化脚本,并支持安全沙箱环境下的防护逻辑。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如果您希望使用CodeGeeX辅助编写控制鼠标和键盘的桌面自动化脚本,则需明确其定位:CodeGeeX本身不直接执行鼠标/键盘操作,而是作为代码生成工具,协助您产出基于Python(如pynput、pyautogui)或AutoHotkey等技术的可执行脚本。以下是实现该目标的具体方法:
一、使用CodeGeeX生成pyautogui脚本
pyautogui是一个跨平台的Python库,支持模拟鼠标移动、点击、键盘输入等操作,适合在Windows/macOS/Linux上运行。CodeGeeX可通过自然语言提示生成结构清晰、带注释的pyautogui代码。
1、安装pyautogui库:在终端中执行 pip install pyautogui。
2、向CodeGeeX输入提示词,例如:“用Python写一个脚本,在屏幕上找到‘确认’按钮图像并单击,若未找到则按回车键”。
3、复制CodeGeeX返回的代码,在本地Python环境中保存为 auto_click.py 并运行。
4、首次运行前需调用 pyautogui.FAILSAFE = True,启用快速中断机制(将鼠标移至屏幕左上角可中止)。
二、使用CodeGeeX生成pynput控制脚本
pynput提供更底层的键盘监听与鼠标控制能力,适用于需要实时响应按键或精确坐标操作的场景。CodeGeeX可依据具体交互逻辑生成含事件监听循环的完整代码。
1、安装pynput库:执行 pip install pynput。
2、向CodeGeeX提交指令,例如:“生成Python脚本,监听F8键,按下时将鼠标移动到坐标(500, 300)并左键双击”。
3、检查生成代码中是否包含 Listener 和 Controller 的正确实例化及线程管理逻辑。
4、确保脚本以管理员/Root权限运行(尤其在macOS或启用了UI Automation限制的Windows系统上)。
三、使用CodeGeeX辅助编写AutoHotkey脚本(Windows专属)
AutoHotkey(AHK)是Windows平台下轻量高效、无需解释器依赖的自动化脚本语言。CodeGeeX可将中文描述直接转译为语法正确的AHK v2代码,适用于快捷键绑定、窗口激活、文本自动填充等任务。
1、下载并安装AutoHotkey v2(官网最新版),确认 .ahk 文件已关联至AHK2.exe。
CodeGeeX 2.21.0是智谱AI推出的AI编程助手版本,对Inline Chat功能进行了重大优化,包括UI设计升级、支持流式输出以提升响应速度,并新增“查看思路”按钮以便理解代码原理。同时,该版本在编辑器中新增CodeLens控件,支持一键“解释”代码或“添加注释”。目前该工具对个人开发者免费开放。
2、向CodeGeeX输入类似提示:“写一段AHK脚本,当按下Ctrl+Alt+T时,在当前焦点窗口输入‘Hello World’并换行”。
3、将生成的代码保存为 input_hello.ahk,双击运行或右键选择“Run Script”。
4、验证脚本是否在系统托盘显示图标;若无响应,检查Windows设置中是否禁用“允许应用访问你的桌面”权限。
四、通过CodeGeeX生成无障碍API调用脚本(macOS)
macOS需借助系统内置的Accessibility API实现自动化,常用工具为PyObjC结合Quartz框架。CodeGeeX可生成调用AXUIElement接口的Python脚本,完成窗口查找、按钮点击等操作。
1、安装PyObjC:执行 pip install pyobjc-framework-Quartz pyobjc-framework-ApplicationServices。
2、向CodeGeeX提供上下文:“生成macOS Python脚本,点击Safari浏览器地址栏右侧的刷新按钮”。
3、生成代码中应包含 AXUIElementCreateApplication 和 AXUIElementPerformAction 调用链。
4、在“系统设置→隐私与安全性→辅助功能”中手动添加Python解释器或终端应用,否则调用将被系统拦截。
五、利用CodeGeeX生成安全沙箱环境下的测试脚本
为防止误操作影响主工作环境,可借助CodeGeeX生成专用于虚拟机或独立用户会话的自动化脚本,并嵌入操作确认、延迟校验、区域限定等防护逻辑。
1、在提示词中明确约束条件:“生成pyautogui脚本,仅在屏幕分辨率1920x1080下运行,每次鼠标移动前等待1秒,且第3次点击后暂停并打印‘请确认继续’”。
2、CodeGeeX输出的代码应包含 pyautogui.size() 分辨率校验与 time.sleep(1) 显式延时。
3、将脚本部署于非管理员账户或VirtualBox虚拟机中,避免对宿主机关键UI组件产生副作用。
4、所有坐标操作均需前置 pyautogui.onScreen(x, y) 检查,防止越界引发异常。










