Python 자동 작업 GUI PyAutoGUI를 완전히 마스터하세요.

이 기사에서는 GUI 자동 작동을 위한 PyAutoGUI 관련 문제를 주로 정리한 Python에 대한 관련 지식을 제공합니다. 데스크탑 자동화 작업은 데스크탑에서 마우스 위치를 찾은 다음 그에 따라 해당 작업을 실행하는 것입니다. 아래의 작업을 살펴보겠습니다. 모두에게 도움이 되기를 바랍니다.

【관련 추천: Python3 동영상 튜토리얼】

GUI 제어 아티팩트

오늘의 주인공은 pyautogui이고, pyautogui는 순수 Python GUI 자동화 도구입니다. 이를 통해 프로그램은 일련의 마우스 및 키보드 작업을 자동으로 제어하여 자동화된 테스트 목적을 달성할 수 있습니다. pyautogui，pyautogui 是一个纯 Python 的 GUI 自动化工具，通过它可以让程序自动控制鼠标和键盘的一系列操作来达到自动化测试的目的。

模块安装，打开cmd，输入：

pip install pyautogui

成功展示：
Successfully installed PyTweening-1.0.4 mouseinfo-0.1.3 pyautogui-0.9.53 pygetwindow-0.0.9 pymsgbox-1.0.9 pyperclip-1.8.2 pyrect-0.2.0 pyscreeze-0.1.28

安装好后就可以直接使用了。

导包

import pyautogui

鼠标操作

鼠标信息

• pyautogui.position() 获取鼠标位置
• pyautogui.onScreen(x,y) 判断坐标(x,y)是否在屏幕内,返回True,Flase
  以右上角为（0,0）点

鼠标移动

桌面操作最基本的就是鼠标操作了，我们可以控制鼠标的移动：

• pyautogui.moveTo(x,y) 绝对位置移动 ，移动到x,y
• pyautogui.moveRel(x,y) 相对位置移动 ，从当前位置移动

# 移动鼠标
pyautogui.moveTo(200,400,duration=2)
pyautogui.moveRel(200,500,duration=2)

整个桌面是以左上角为坐标轴的原点，所有的操作都以这个原点，来确定操作位置。

第一行是将鼠标移动到指定的像素(200,400)位置；
第二行代码是将鼠标按照当前点向右移动200px，向下移动500px这个方向移动。

两行代码中都有一个共同的参数 duration，这个参数表示移动时间，即在指定时间内完成移动操作，单位是秒。

运行这两行代码，观察屏幕鼠标的变化，是不是很神奇？

鼠标点击

通常，我们的鼠标有左右两个按键，高级点的鼠标中间还有个按键。

我的鼠标只有两个按键，中间没有按键，唉~
pyautogui针对这三个按键操作都有相应的处理：

• pyautogui.click()
  (100,100, clicks=2,interval=0.5,button=‘right’,duration=0.2)
  位置，点击次数，间隔时间，右键(默认左键)，移动间隔
• left：左键 right：右键 middle：中键

# 鼠标点击，默认左键
pyautogui.click(100,100)   
# 单击左键
pyautogui.click(100,100,button='left')  
# 单击右键
pyautogui.click(100,300,button='right') 
# 单击中间 
pyautogui.click(100,300,button='middle')

鼠标点击，如果不指定 button 参数，默认是点击左键，前面两个参数就是点击坐标的位置。

运行这段代码，看看你的桌面会发生什么？

鼠标除了点击操作，还有双击操作：

• pyautogui.doubleClick() #双击右键
• pyautogui.leftClick() #双击左键
• pyautogui.middleClick() #双击中键
• pyautogui.tripleClick() #双击屏幕

# 双击左键
pyautogui.doubleClick(10,10)  
# 双击右键
pyautogui.rightClick(10,10)   
# 双击中键
pyautogui.middleClick(10,10) 
# 双击屏幕
pyautogui.tripleClick(10,10)

操作函数也很简单，相信大家一眼就能看明白，如果一眼看不明白，请多看几眼！

熟悉前端的小伙伴可能会马上联想到，鼠标操作有按下和释放的过程，我们屏幕操作也有对应的控制：

鼠标点击与释放

• pyautogui.mouseUp() #释放
• pyautogui.mouseDown() #点击 只需要输入键就可

# 鼠标按下
pyautogui.mouseDown()   
# 鼠标释放
pyautogui.mouseUp()

鼠标拖动

• pyautogui.dragTo() #绝对位置拖动
• pyautogui.dragRel() #相对位置拖动
  例:pyautogui.dragRel(-100,200,duration=0.5,button=‘right’)

我们可以控制鼠标拖动到指定坐标位置，并且设置操作时间和按键：

pyautogui.dragTo(100,300,duration=1,button='right')

这个运行效果和前面移动类似。

根据前面移动的经验，我们也有按照方向拖动鼠标：

pyautogui.dragRel(100,300,duration=4,button='left')

鼠标滚动

在桌面操作中，我们有时候需要滚动鼠标到达向上或者向下的位置，这时候我们可以使用 scroll

모듈 설치, cmd 열기, 입력:

pyautogui.scroll(30000)

성공적인 표시:
성공적으로 설치됨 PyTweening-1.0.4 mouseinfo-0.1.3 pyautogui-0.9.53 pygetwindow-0.0.9 pymsgbox-1.0.9 pyperclip-1.8.2 pyrect-0.2.0 pyscreeze-0.1.28

설치 후 바로 사용 가능합니다.

가이드 패키지

pyautogui.keyDown('shift')    
pyautogui.press('1')    
pyautogui.keyUp('shift')

마우스 조작

마우스 정보

• pyautogui.position() 마우스 위치 가져오기
• pyautogui.onScreen(x,y) 좌표(x,y)가 화면 내에 있는지 확인 , return True ,Flase
  오른쪽 상단을 (0,0) 지점으로 가져옵니다.
• 마우스 움직임
• 가장 기본적인 데스크탑 작업은 마우스 동작을 제어할 수 있습니다:

pyautogui. .moveTo(x,y ) 절대 위치 이동, x,y로 이동

🎜pyautogui.moveRel(x,y) 상대 위치 이동, 현재 위치에서 이동🎜🎜

pyautogui.typewrite('python', 1)

🎜바탕화면 전체의 왼쪽 상단을 원점으로 합니다. 좌표축의 위치를 ​​결정하며, 모든 동작은 이 원점을 기준으로 동작 위치를 결정합니다. 🎜🎜첫 번째 줄은 지정된 픽셀(200,400) 위치로 마우스를 이동하는 것입니다.
두 번째 줄은 현재 지점을 기준으로 마우스를 오른쪽으로 200px, 아래로 500px 이동하는 것입니다. 🎜🎜두 줄 모두 공통 매개변수인 지속시간이 있습니다. 이 매개변수는 이동 시간, 즉 지정된 시간 내에 이동 작업이 완료되는 것을 나타내며 단위는 초)입니다. 코드>. 🎜🎜이 두 줄의 코드를 실행하고 화면 마우스의 변화를 관찰해보세요. 🎜🎜마우스 클릭🎜🎜보통 우리 마우스는 왼쪽과 오른쪽에 2개의 버튼이 있고, 고급 마우스는 중앙에 버튼이 있습니다. 🎜🎜내 마우스에는 버튼이 두 개만 있고 가운데 버튼이 없습니다~
pyautogui에는 다음 세 개의 버튼 작업에 해당하는 처리가 있습니다: 🎜🎜🎜pyautogui.click()
(100,100, 클릭수=2, 간격=0.5, 버튼='오른쪽', 지속시간=0.2)
위치, 클릭수, 간격, 오른쪽 버튼(🎜기본 왼쪽 버튼🎜), 이동 간격🎜🎜왼쪽: 왼쪽 버튼 오른쪽: 오른쪽 버튼 가운데: 가운데 버튼 🎜🎜

pyautogui.typewrite(['p','y','t','h','o','n','enter'])   
pyautogui.typewrite(['p','y','t','h','o','n',' '])

🎜마우스 클릭. 버튼 매개변수가 지정되지 않은 경우 기본값은 왼쪽 버튼을 클릭하는 것입니다. 좌표. 🎜🎜이 코드를 실행하고 데스크톱에 어떤 일이 일어나는지 확인해 보세요. 🎜🎜클릭 작업 외에도 마우스에는 두 번 클릭 작업도 있습니다. 🎜🎜🎜pyautogui.doubleClick() #오른쪽 버튼을 두 번 클릭🎜🎜pyautogui.leftClick() #왼쪽 버튼을 두 번 클릭🎜🎜pyautogui. middleClick() #가운데 버튼을 두 번 클릭하세요🎜🎜pyautogui.tripleClick () #화면을 두 번 클릭하세요🎜🎜

pyautogui.keyDown('ctrl')
pyautogui.keyDown('c')
pyautogui.keyUp('c')
pyautogui.keyUp('ctrl')

🎜 조작 기능도 매우 간단합니다. 한 눈에 이해하세요. 몇 번 더 살펴보세요! 🎜🎜프론트 엔드에 익숙한 친구들은 마우스 조작에 누르기 및 떼기 과정이 있다고 즉시 생각할 수 있으며 화면 조작에도 해당 컨트롤이 있습니다. 🎜🎜마우스 클릭 및 해제🎜🎜🎜pyautogui.mouseUp() #release 🎜🎜pyautogui .mouseDown() #클릭하려면 입력 키만 필요합니다🎜🎜

im = pyautogui.screenshot()
im.save('screenshot.png')
rgb = im.getpixel((100, 500))
print(rgb)
match = pyautogui.pixelMatchesColor(500,500,(12,120,400))
print(match)

🎜마우스 드래그🎜🎜🎜pyautogui.dragTo() #절대 위치 드래그🎜🎜pyautogui.dragRel() #상대 위치 드래그
예: pyautogui. dragRel(-100,200,duration=0.5,button='right')🎜🎜🎜마우스를 제어하여 지정된 좌표 위치로 드래그하고 작업 시간과 키를 설정할 수 있습니다. 🎜

# 图像识别（一个）
oneLocation = pyautogui.locateOnScreen('1.png')
print(oneLocation)  

# 图像识别（多个）
allLocation = pyautogui.locateAllOnScreen('1.png')
print(list(allLocation))

🎜이 작업 효과는 이전과 유사합니다. 움직임. 🎜🎜이전의 이동 경험을 바탕으로 마우스를 해당 방향으로 드래그하기도 합니다. 🎜

Box(left=20, top=89, width=33, height=34)
[Box(left=20, top=89, width=33, height=34)]

🎜마우스 스크롤🎜🎜데스크톱 작업에서는 마우스를 위쪽 또는 아래쪽 위치로 스크롤해야 하는 경우가 있습니다. 스크롤 이 함수는 다음을 제어합니다: 🎜🎜🎜pyautogui.scroll() #(,x,y) 슬라이딩 거리(+up, -down), position🎜🎜

way = pyautogui.confirm('领导，该走哪条路？', buttons=['农村路', '水路', '陆路'])
print(way)

🎜 매개변수는 스크롤을 나타내는 정수입니다. up 또는 down 단위 수는 운영 체제에 따라 달라질 수 있습니다. 🎜위로 스크롤하면 양의 정수를 전달하고, 아래로 스크롤하면 음의 정수를 전달합니다. 🎜🎜🎜키보드 작동🎜🎜키보드 제어🎜🎜🎜pyautogui.keyDown() #키 눌림 시뮬레이션, 내용은 키 기호 🎜🎜pyautogui.keyUp() #키 해제 시뮬레이션🎜🎜pyautogui.press() #키 누름 시뮬레이션 process, 즉 keyDown과 keyUP의 조합 🎜🎜pyautogui.hotkey() #press에는 동일한 차이점이 있습니다. 키를 결합할 수 있습니다. 🎜🎜pyautogui.typewrite() #키보드 출력 내용 시뮬레이션 🎜🎜🎜예를 들어, 어떻게 하면 보통 느낌표(!)를 쳐요 키보드를 조작하는 사람? 🎜

按住 shift 按键，然后再按住 1 按键，就可以了。用pyautogui控制就是：

pyautogui.keyDown('shift')    
pyautogui.press('1')    
pyautogui.keyUp('shift')

运行上面的代码，如果你的鼠标是放在编辑框中，你会得到一个感叹号！

我们还可以直接输出内容：

pyautogui.typewrite('python', 1)

第一个参数是输出的内容，第二个参数是间隔时间，单位是秒。

运行上面代码，你的编辑器里面就会每隔1秒钟按顺序输出 python 的6个字母。

特殊符号

有时我们需要输入键盘的一些特殊的符号按键，比如 换行、方向键等，这些有相对应的键盘字符串表示：

pyautogui.typewrite(['p','y','t','h','o','n','enter'])   
pyautogui.typewrite(['p','y','t','h','o','n',' '])

运行上面代码，编辑器里面就会输出 python 之后换行。

其他特殊按键对应的字符串请参考官方说明。

快捷键

如果我要复制一个内容，大部分情况下会使用快键键 ctrl + c，按照上面讲的，我们应该这么实现：

pyautogui.keyDown('ctrl')
pyautogui.keyDown('c')
pyautogui.keyUp('c')
pyautogui.keyUp('ctrl')

实现的效果和上面的4行代码相同。

键盘字符串 说明
enter(或return 或 \n) 回车
esc ESC键
shiftleft, shiftright 左右SHIFT键
altleft, altright 左右ALT键
ctrlleft, ctrlright 左右CTRL键
tab (\t) TAB键
backspace, delete BACKSPACE 、DELETE键
pageup, pagedown PAGE UP 和 PAGE DOWN键
home, end HOME 和 END键
up, down, left,right 箭头键
f1, f2, f3…. f12 F1…….F12键
volumemute, volumedown,volumeup 声音变大变小静音（有些键盘没有）
pause PAUSE键，暂停键
capslock CAPS LOCK 键
numlock NUM LOCK 键
scrolllock SCROLLLOCK 键
insert INSERT键
printscreen PRINT SCREEN键
winleft, winright Win键（windows ）
command command键（Mac OS X ）
option option（Mac OS X）

屏幕处理

获取屏幕截屏

我们先来假设一个场景：我现在要在屏幕上找到一个红色的点，你会怎么做？通常的做法是拿到这个红色点的颜色值，然后再对屏幕上的点逐个进行比较，直到找到为止。

pyautogui 为我们这个操作场景提供了支持，分别有三个函数可以完成这三件事情。

• img = pyautogui.screenshot() #默认是全屏，可是输入截屏大小
• img.save(‘img.jpg’)
• pyautogui.screenshot(‘image’,region=(x,y,w,h) # 返回屏幕的截图，是一个Pillow的image对象
• pyautogui.pixelMatchesColor(500,500,(12,120,400)) # 是一个对比函数，对比的是屏幕上（500，500）这一点像素的颜色，与所给的元素是否相同；
• pyautogui.locateCenterOnScreen(‘image’, region=(x,y,w,h) ) #图片匹配功能，查找image图片在屏幕中的位置，region限制查找范围

im = pyautogui.screenshot()
im.save('screenshot.png')
rgb = im.getpixel((100, 500))
print(rgb)
match = pyautogui.pixelMatchesColor(500,500,(12,120,400))
print(match)

第一个是获取屏幕截图函数，它可以返回一个 Pillow 的 image 对象; 第二个是获取屏幕截图中指定坐标点的颜色，返回 rgb 颜色值；第三个是将指定坐标点的颜色和目标的颜色进行比对，返回布尔值。

我们再来升级一下需求：

我现在要在屏幕上找到 edge 浏览器的图标，你会怎么做？

通常的做法是先知道 edge 浏览器的图标长啥样，是绿色还是蓝色，是胖的还是瘦的，对吧？然后再在屏幕上去进行图标的匹配，直到找到一个图标跟我们目标图标一样，就得到了结果。

于是，我们的代码如下：

# 图像识别（一个）
oneLocation = pyautogui.locateOnScreen('1.png')
print(oneLocation)  

# 图像识别（多个）
allLocation = pyautogui.locateAllOnScreen('1.png')
print(list(allLocation))

你可以在桌面上将某个应用的图标截取下来，保存为图片，然后使用上面几行代码来识别，识别成功，你会返回类似下面的结果：

Box(left=20, top=89, width=33, height=34)
[Box(left=20, top=89, width=33, height=34)]

这就是图片在桌面的位置，如果找不到图片，就会返回 None。

信息框

当你在模拟一个桌面操作的时候，如果有分支操作需要根据实际情况来判断，你是不是需要有一个地方可以让你选择走哪个分支？

pyautogui 贴心地考虑到了这种情况，你可以通过弹出一个选择框来中断当前的操作，选择操作分支。

• pyautogui.alert(text=,title=,button=) #按钮框 文本，标题，按钮名
• pyautogui.confirm(text=,title=,buttons=) #组合按钮框（多个按钮）
• pyautogui.prompt(text=,title=,default=) #输入框 #文本，标题，默认文字
• pyautogui.password(text=,title=,default=,mask=) #密码输入框 #输入框 #文本，标题，默认文字，掩码样式
• pyautogui.mouseInfo() #获取鼠标的信息

way = pyautogui.confirm('领导，该走哪条路？', buttons=['农村路', '水路', '陆路'])
print(way)

这里就是我们 HTML 页面的 confirm 选择框，选择了选项之后，我们可以获取到选择的选项，然后基于这个选项做判断，进入相应的操作分支。

除了选择确认框之外，还有其他一些提示信息框：

# 警告框
alert = pyautogui.alert(text='警告！敌军来袭！', title='警告框')
print(alert)
# 密码框
password = pyautogui.password('请输入密码')
print(password)
# 普通输入框
input = pyautogui.prompt('请输入指令：')
print(input)

pyautogui 的基本知识就给大家介绍到这里，这个 python 模块的功能十分强大，函数都非常简单，对 python 初学者比较友好。学了这些基本知识之后，你可以运用这些基本知识的组合，去实现一些有趣的桌面自动化操作，快去尝试一把吧！

自动点赞实战

我们通过今天的基础知识的学习，我们可以通过pyautogui+PIL结合来实现网页自动点赞的实战练习。

我们先介绍一个PIL库下一个裁剪图片的函数crop。

使用PIL裁切图片使用PIL需要引用Image，使用Image的open(file)方法可以返回打开的图片，使用crop((x1,y1,x2,y2))方法可以对图片做裁切。
该区域是一个元组，（x1,y1）是图片左上角的坐标，（x2，y2）是图片右下角的坐标。
Python Imaging Library 使用左上角为 (0, 0)的坐标系统。

首先我们要知道点赞的图片的样子

# 截取整个屏幕
im=pyautogui.screenshot()
# 截取点赞图片
om=im.crop((1754,595,1803,631)) 
#将图片保存供pyautogui.locateOnScreen（）使用
om.save("dianzan.png")

根据截取的屏幕仅截取带赞的手势图片，可以用pyautogui.mouseInfo()获取图片的位置(1754,595,1803,631)
或者通过pyautogui.location()来确定首尾坐标

在当前目录下得到如下图片。

# 点赞函数
def zan(count): #为了防止一直运行下去，点赞次数由自己定义
    time.sleep(0.5)
    # 寻找刚才保存点赞手势图片
    xy = pyautogui.locateOnScreen('dianzan.png')
    # 寻找图片的中心
    center = pyautogui.center(xy)
    # 点赞
    pyautogui.click(center)
    print('点赞成功')

count = 3 # 点赞次数
while range(count):
    if pyautogui.locateOnScreen('dianzan.png'):
        zan(count)   # 调用点赞函数
        count-=1
    else:
    	#本页没有图片后，滚动鼠标；
        pyautogui.scroll(-500)
        print('没有找到目标，屏幕下滚~')
        count -= 1
print('点赞结束！')

未点赞之前的图片是这样的：

自动点赞之后：

是不是很厉害呢？其实pyautogui还可以做很多东西，比如说自动发信息，其原理还是不变的，找到对应的位置，输入内容，发送就可以了，在这里我就不演示啦！有兴趣的可以去试试哦~~~

完整代码

from PIL import Image
import pyautogui
import time

# 截取整个屏幕
im=pyautogui.screenshot()
# 截取点赞图片
om=im.crop((1754,595,1803,631)) 
#将图片保存供pyautogui.locateOnScreen（）使用
om.save("dianzan.png")

# 点赞函数
def zan(count): #为了防止一直运行下去，点赞次数由自己定义
    time.sleep(0.5)
    # 寻找刚才保存点赞手势图片
    xy = pyautogui.locateOnScreen('dianzan.png')
    # 寻找图片的中心
    center = pyautogui.center(xy)
    # 点赞
    pyautogui.click(center)
    print('点赞成功')

count = 3 # 点赞次数
while range(count):
    if pyautogui.locateOnScreen('dianzan.png'):
        zan(count)   # 调用点赞函数
        count-=1
    else:
    	#本页没有图片后，滚动鼠标；
        pyautogui.scroll(-500)
        print('没有找到目标，屏幕下滚~')
        count -= 1
print('点赞结束！')

【相关推荐：Python3视频教程 】

위 내용은 Python 자동 작업 GUI PyAutoGUI를 완전히 마스터하세요.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!