Maîtriser complètement l'interface graphique du fonctionnement automatique de Python PyAutoGUI

Cet article vous apporte des connaissances pertinentes sur Python, qui organise principalement les problèmes liés à PyAutoGUI pour le fonctionnement automatique de l'interface graphique. L'opération d'automatisation du bureau consiste à localiser la position de la souris sur le bureau, puis à exécuter l'opération correspondante en fonction du. position positionnée. Jetons un coup d’œil à l’opération ci-dessous, j’espère que cela sera utile à tout le monde.

【Recommandation associée : Tutoriel vidéo Python3】

Artefact de contrôle GUI

Notre protagoniste aujourd'hui est pyautogui, pyautogui est un pur outil d'automatisation GUI Python , grâce auquel le programme peut contrôler automatiquement une série d'opérations de la souris et du clavier pour atteindre l'objectif des tests automatisés. pyautogui，pyautogui 是一个纯 Python 的 GUI 自动化工具，通过它可以让程序自动控制鼠标和键盘的一系列操作来达到自动化测试的目的。

模块安装，打开cmd，输入：

pip install pyautogui

成功展示：
Successfully installed PyTweening-1.0.4 mouseinfo-0.1.3 pyautogui-0.9.53 pygetwindow-0.0.9 pymsgbox-1.0.9 pyperclip-1.8.2 pyrect-0.2.0 pyscreeze-0.1.28

安装好后就可以直接使用了。

导包

import pyautogui

鼠标操作

鼠标信息

• pyautogui.position() 获取鼠标位置
• pyautogui.onScreen(x,y) 判断坐标(x,y)是否在屏幕内,返回True,Flase
  以右上角为（0,0）点

鼠标移动

桌面操作最基本的就是鼠标操作了，我们可以控制鼠标的移动：

• pyautogui.moveTo(x,y) 绝对位置移动 ，移动到x,y
• pyautogui.moveRel(x,y) 相对位置移动 ，从当前位置移动

# 移动鼠标
pyautogui.moveTo(200,400,duration=2)
pyautogui.moveRel(200,500,duration=2)

整个桌面是以左上角为坐标轴的原点，所有的操作都以这个原点，来确定操作位置。

第一行是将鼠标移动到指定的像素(200,400)位置；
第二行代码是将鼠标按照当前点向右移动200px，向下移动500px这个方向移动。

两行代码中都有一个共同的参数 duration，这个参数表示移动时间，即在指定时间内完成移动操作，单位是秒。

运行这两行代码，观察屏幕鼠标的变化，是不是很神奇？

鼠标点击

通常，我们的鼠标有左右两个按键，高级点的鼠标中间还有个按键。

我的鼠标只有两个按键，中间没有按键，唉~
pyautogui针对这三个按键操作都有相应的处理：

• pyautogui.click()
  (100,100, clicks=2,interval=0.5,button=‘right’,duration=0.2)
  位置，点击次数，间隔时间，右键(默认左键)，移动间隔
• left：左键 right：右键 middle：中键

# 鼠标点击，默认左键
pyautogui.click(100,100)   
# 单击左键
pyautogui.click(100,100,button='left')  
# 单击右键
pyautogui.click(100,300,button='right') 
# 单击中间 
pyautogui.click(100,300,button='middle')

鼠标点击，如果不指定 button 参数，默认是点击左键，前面两个参数就是点击坐标的位置。

运行这段代码，看看你的桌面会发生什么？

鼠标除了点击操作，还有双击操作：

• pyautogui.doubleClick() #双击右键
• pyautogui.leftClick() #双击左键
• pyautogui.middleClick() #双击中键
• pyautogui.tripleClick() #双击屏幕

# 双击左键
pyautogui.doubleClick(10,10)  
# 双击右键
pyautogui.rightClick(10,10)   
# 双击中键
pyautogui.middleClick(10,10) 
# 双击屏幕
pyautogui.tripleClick(10,10)

操作函数也很简单，相信大家一眼就能看明白，如果一眼看不明白，请多看几眼！

熟悉前端的小伙伴可能会马上联想到，鼠标操作有按下和释放的过程，我们屏幕操作也有对应的控制：

鼠标点击与释放

• pyautogui.mouseUp() #释放
• pyautogui.mouseDown() #点击 只需要输入键就可

# 鼠标按下
pyautogui.mouseDown()   
# 鼠标释放
pyautogui.mouseUp()

鼠标拖动

• pyautogui.dragTo() #绝对位置拖动
• pyautogui.dragRel() #相对位置拖动
  例:pyautogui.dragRel(-100,200,duration=0.5,button=‘right’)

我们可以控制鼠标拖动到指定坐标位置，并且设置操作时间和按键：

pyautogui.dragTo(100,300,duration=1,button='right')

这个运行效果和前面移动类似。

根据前面移动的经验，我们也有按照方向拖动鼠标：

pyautogui.dragRel(100,300,duration=4,button='left')

鼠标滚动

在桌面操作中，我们有时候需要滚动鼠标到达向上或者向下的位置，这时候我们可以使用 scroll

Installation du module, ouvrez cmd, saisissez :

pyautogui.scroll(30000)

Affichage réussi :
Installé avec succès PyTweening-1.0.4 mouseinfo-0.1.3 pyautogui-0.9.53 pygetwindow-0.0.9 pymsgbox-1.0.9 pyperclip-1.8.2 pyrect-0.2.0 pyscreeze-0.1.28

Vous pouvez l'utiliser directement après l'installation.

Package guide

pyautogui.keyDown('shift')    
pyautogui.press('1')    
pyautogui.keyUp('shift')

Opération de la souris

Informations sur la souris

• pyautogui.position() Obtenez la position de la souris
• pyautogui.onScreen(x,y) Détermine si les coordonnées (x,y) sont à l'intérieur de l'écran , return True ,Flase
  Prenez le coin supérieur droit comme (0,0) point
• Mouvement de la souris
• L'opération la plus basique du bureau est l'opération de la souris Nous pouvons contrôler le mouvement de la souris :

pyautogui. .moveTo(x,y ) Mouvement de position absolue, déplacement vers x,y

🎜pyautogui.moveRel(x,y) Mouvement de position relative, déplacement à partir de la position actuelle🎜🎜

pyautogui.typewrite('python', 1)

🎜Le bureau entier a le coin supérieur gauche comme origine de l'axe de coordonnées, et toutes les opérations sont basées sur cette origine pour déterminer la position de fonctionnement. 🎜🎜La première ligne consiste à déplacer la souris vers la position de pixel spécifiée (200 400) ;
La deuxième ligne de code consiste à déplacer la souris de 200 px vers la droite et de 500 px vers le bas en fonction du point actuel. 🎜🎜Il existe un paramètre commun de durée dans les deux lignes de code. Ce paramètre représente le temps de mouvement, c'est-à-dire que l'opération de mouvement est terminée dans le temps spécifié et l'unité est secondes. code>. 🎜🎜Exécutez ces deux lignes de code et observez les changements de la souris à l'écran. N'est-ce pas étonnant ? 🎜🎜Clic de souris🎜🎜Habituellement, notre souris a deux boutons à gauche et à droite, et les souris plus avancées ont également un bouton au milieu. 🎜🎜Ma souris n'a que deux boutons et aucun bouton au milieu.
pyautogui a un traitement correspondant pour ces trois opérations de bouton : 🎜🎜🎜pyautogui.click()
(100 100, clicks=2,interval=0.5,button='right',duration=0.2)
Position, nombre de clics, intervalle, bouton droit (🎜bouton gauche par défaut🎜), intervalle de mouvement🎜🎜gauche : gauche bouton droit : Bouton droit au milieu : Bouton du milieu 🎜🎜

pyautogui.typewrite(['p','y','t','h','o','n','enter'])   
pyautogui.typewrite(['p','y','t','h','o','n',' '])

🎜Clic de souris Si le paramètre bouton n'est pas spécifié, la valeur par défaut est de cliquer sur le bouton gauche. Les deux premiers paramètres sont l'emplacement du clic. coordonnées. 🎜🎜Exécutez ce code et voyez ce qui arrive à votre bureau ? 🎜🎜En plus des opérations de clic, la souris dispose également d'opérations de double-clic : 🎜🎜🎜pyautogui.doubleClick() #Double-cliquez sur le bouton droit🎜🎜pyautogui.leftClick() #Double-cliquez sur le bouton gauche🎜🎜pyautogui. middleClick() #Double-cliquez sur le bouton du milieu🎜🎜pyautogui.tripleClick () #Double-cliquez sur l'écran🎜🎜

pyautogui.keyDown('ctrl')
pyautogui.keyDown('c')
pyautogui.keyUp('c')
pyautogui.keyUp('ctrl')

🎜La fonction de fonctionnement est également très simple, je pense que tout le monde peut la comprendre en un coup d'œil. comprenez-le d'un coup d'œil, veuillez jeter quelques regards supplémentaires ! 🎜🎜Les amis qui connaissent le front-end peuvent immédiatement penser que les opérations de la souris ont un processus d'appui et de relâchement, et que nos opérations sur l'écran ont également des contrôles correspondants : 🎜🎜Cliquez et relâchez la souris🎜🎜🎜pyautogui.mouseUp() #release 🎜🎜pyautogui .mouseDown() #Le clic ne nécessite que les touches de saisie🎜🎜

im = pyautogui.screenshot()
im.save('screenshot.png')
rgb = im.getpixel((100, 500))
print(rgb)
match = pyautogui.pixelMatchesColor(500,500,(12,120,400))
print(match)

🎜Glisser la souris🎜🎜🎜pyautogui.dragTo() #Drag de position absolue🎜🎜pyautogui.dragRel() #Glisser de position relative
Exemple : pyautogui. dragRel(-100,200,duration=0.5,button='right')🎜🎜🎜Nous pouvons contrôler la souris pour faire glisser jusqu'à la position de coordonnées spécifiée et définir le temps et les touches de l'opération : 🎜

# 图像识别（一个）
oneLocation = pyautogui.locateOnScreen('1.png')
print(oneLocation)  

# 图像识别（多个）
allLocation = pyautogui.locateAllOnScreen('1.png')
print(list(allLocation))

🎜Cet effet d'opération est similaire au précédent mouvement. 🎜🎜Sur la base de notre expérience mobile précédente, nous faisons également glisser la souris dans la direction : 🎜

Box(left=20, top=89, width=33, height=34)
[Box(left=20, top=89, width=33, height=34)]

🎜Défilement de la souris🎜🎜Dans les opérations de bureau, nous devons parfois faire défiler la souris vers le haut ou vers le bas. À ce stade, nous pouvons utiliser scroll Cette fonction contrôle : 🎜🎜🎜pyautogui.scroll() #(,x,y) distance de glissement (+haut, -bas), position🎜🎜<pre class="brush:php;toolbar:false">way = pyautogui.confirm('领导，该走哪条路？', buttons=['农村路', '水路', '陆路']) print(way)</pre>🎜Le paramètre est un entier, indiquant le défilement vers le haut ou down Le nombre d'unités peut varier en fonction du système d'exploitation. 🎜Si vous faites défiler vers le haut, transmettez un entier positif, et si vous faites défiler vers le bas, transmettez un entier négatif. 🎜🎜🎜Fonctionnement du clavier🎜🎜Contrôle du clavier🎜🎜🎜pyautogui.keyDown() #Simuler la touche enfoncée, le contenu est le symbole de la clé 🎜🎜pyautogui.keyUp() #Simuler le relâchement de la touche🎜🎜pyautogui.press() #Simuler une pression sur une touche process , c'est-à-dire la combinaison de keyDown et keyUP 🎜🎜pyautogui.hotkey() #press a la même différence : vous pouvez combiner les touches 🎜🎜pyautogui.typewrite() #Simuler le contenu de sortie du clavier 🎜🎜🎜Par exemple, comment faites-vous tape habituellement un point d'exclamation (!) Celui qui actionne le clavier ? 🎜<p>按住 shift 按键，然后再按住 1 按键，就可以了。用<code>pyautogui控制就是：

pyautogui.keyDown('shift')    
pyautogui.press('1')    
pyautogui.keyUp('shift')

运行上面的代码，如果你的鼠标是放在编辑框中，你会得到一个感叹号！

我们还可以直接输出内容：

pyautogui.typewrite('python', 1)

第一个参数是输出的内容，第二个参数是间隔时间，单位是秒。

运行上面代码，你的编辑器里面就会每隔1秒钟按顺序输出 python 的6个字母。

特殊符号

有时我们需要输入键盘的一些特殊的符号按键，比如 换行、方向键等，这些有相对应的键盘字符串表示：

pyautogui.typewrite(['p','y','t','h','o','n','enter'])   
pyautogui.typewrite(['p','y','t','h','o','n',' '])

运行上面代码，编辑器里面就会输出 python 之后换行。

其他特殊按键对应的字符串请参考官方说明。

快捷键

如果我要复制一个内容，大部分情况下会使用快键键 ctrl + c，按照上面讲的，我们应该这么实现：

pyautogui.keyDown('ctrl')
pyautogui.keyDown('c')
pyautogui.keyUp('c')
pyautogui.keyUp('ctrl')

实现的效果和上面的4行代码相同。

键盘字符串 说明
enter(或return 或 \n) 回车
esc ESC键
shiftleft, shiftright 左右SHIFT键
altleft, altright 左右ALT键
ctrlleft, ctrlright 左右CTRL键
tab (\t) TAB键
backspace, delete BACKSPACE 、DELETE键
pageup, pagedown PAGE UP 和 PAGE DOWN键
home, end HOME 和 END键
up, down, left,right 箭头键
f1, f2, f3…. f12 F1…….F12键
volumemute, volumedown,volumeup 声音变大变小静音（有些键盘没有）
pause PAUSE键，暂停键
capslock CAPS LOCK 键
numlock NUM LOCK 键
scrolllock SCROLLLOCK 键
insert INSERT键
printscreen PRINT SCREEN键
winleft, winright Win键（windows ）
command command键（Mac OS X ）
option option（Mac OS X）

屏幕处理

获取屏幕截屏

我们先来假设一个场景：我现在要在屏幕上找到一个红色的点，你会怎么做？通常的做法是拿到这个红色点的颜色值，然后再对屏幕上的点逐个进行比较，直到找到为止。

pyautogui 为我们这个操作场景提供了支持，分别有三个函数可以完成这三件事情。

• img = pyautogui.screenshot() #默认是全屏，可是输入截屏大小
• img.save(‘img.jpg’)
• pyautogui.screenshot(‘image’,region=(x,y,w,h) # 返回屏幕的截图，是一个Pillow的image对象
• pyautogui.pixelMatchesColor(500,500,(12,120,400)) # 是一个对比函数，对比的是屏幕上（500，500）这一点像素的颜色，与所给的元素是否相同；
• pyautogui.locateCenterOnScreen(‘image’, region=(x,y,w,h) ) #图片匹配功能，查找image图片在屏幕中的位置，region限制查找范围

im = pyautogui.screenshot()
im.save('screenshot.png')
rgb = im.getpixel((100, 500))
print(rgb)
match = pyautogui.pixelMatchesColor(500,500,(12,120,400))
print(match)

第一个是获取屏幕截图函数，它可以返回一个 Pillow 的 image 对象; 第二个是获取屏幕截图中指定坐标点的颜色，返回 rgb 颜色值；第三个是将指定坐标点的颜色和目标的颜色进行比对，返回布尔值。

我们再来升级一下需求：

我现在要在屏幕上找到 edge 浏览器的图标，你会怎么做？

通常的做法是先知道 edge 浏览器的图标长啥样，是绿色还是蓝色，是胖的还是瘦的，对吧？然后再在屏幕上去进行图标的匹配，直到找到一个图标跟我们目标图标一样，就得到了结果。

于是，我们的代码如下：

# 图像识别（一个）
oneLocation = pyautogui.locateOnScreen('1.png')
print(oneLocation)  

# 图像识别（多个）
allLocation = pyautogui.locateAllOnScreen('1.png')
print(list(allLocation))

你可以在桌面上将某个应用的图标截取下来，保存为图片，然后使用上面几行代码来识别，识别成功，你会返回类似下面的结果：

Box(left=20, top=89, width=33, height=34)
[Box(left=20, top=89, width=33, height=34)]

这就是图片在桌面的位置，如果找不到图片，就会返回 None。

信息框

当你在模拟一个桌面操作的时候，如果有分支操作需要根据实际情况来判断，你是不是需要有一个地方可以让你选择走哪个分支？

pyautogui 贴心地考虑到了这种情况，你可以通过弹出一个选择框来中断当前的操作，选择操作分支。

• pyautogui.alert(text=,title=,button=) #按钮框 文本，标题，按钮名
• pyautogui.confirm(text=,title=,buttons=) #组合按钮框（多个按钮）
• pyautogui.prompt(text=,title=,default=) #输入框 #文本，标题，默认文字
• pyautogui.password(text=,title=,default=,mask=) #密码输入框 #输入框 #文本，标题，默认文字，掩码样式
• pyautogui.mouseInfo() #获取鼠标的信息

way = pyautogui.confirm('领导，该走哪条路？', buttons=['农村路', '水路', '陆路'])
print(way)

这里就是我们 HTML 页面的 confirm 选择框，选择了选项之后，我们可以获取到选择的选项，然后基于这个选项做判断，进入相应的操作分支。

除了选择确认框之外，还有其他一些提示信息框：

# 警告框
alert = pyautogui.alert(text='警告！敌军来袭！', title='警告框')
print(alert)
# 密码框
password = pyautogui.password('请输入密码')
print(password)
# 普通输入框
input = pyautogui.prompt('请输入指令：')
print(input)

pyautogui 的基本知识就给大家介绍到这里，这个 python 模块的功能十分强大，函数都非常简单，对 python 初学者比较友好。学了这些基本知识之后，你可以运用这些基本知识的组合，去实现一些有趣的桌面自动化操作，快去尝试一把吧！

自动点赞实战

我们通过今天的基础知识的学习，我们可以通过pyautogui+PIL结合来实现网页自动点赞的实战练习。

我们先介绍一个PIL库下一个裁剪图片的函数crop。

使用PIL裁切图片使用PIL需要引用Image，使用Image的open(file)方法可以返回打开的图片，使用crop((x1,y1,x2,y2))方法可以对图片做裁切。
该区域是一个元组，（x1,y1）是图片左上角的坐标，（x2，y2）是图片右下角的坐标。
Python Imaging Library 使用左上角为 (0, 0)的坐标系统。

首先我们要知道点赞的图片的样子

# 截取整个屏幕
im=pyautogui.screenshot()
# 截取点赞图片
om=im.crop((1754,595,1803,631)) 
#将图片保存供pyautogui.locateOnScreen（）使用
om.save("dianzan.png")

根据截取的屏幕仅截取带赞的手势图片，可以用pyautogui.mouseInfo()获取图片的位置(1754,595,1803,631)
或者通过pyautogui.location()来确定首尾坐标

在当前目录下得到如下图片。

# 点赞函数
def zan(count): #为了防止一直运行下去，点赞次数由自己定义
    time.sleep(0.5)
    # 寻找刚才保存点赞手势图片
    xy = pyautogui.locateOnScreen('dianzan.png')
    # 寻找图片的中心
    center = pyautogui.center(xy)
    # 点赞
    pyautogui.click(center)
    print('点赞成功')

count = 3 # 点赞次数
while range(count):
    if pyautogui.locateOnScreen('dianzan.png'):
        zan(count)   # 调用点赞函数
        count-=1
    else:
    	#本页没有图片后，滚动鼠标；
        pyautogui.scroll(-500)
        print('没有找到目标，屏幕下滚~')
        count -= 1
print('点赞结束！')

未点赞之前的图片是这样的：

自动点赞之后：

是不是很厉害呢？其实pyautogui还可以做很多东西，比如说自动发信息，其原理还是不变的，找到对应的位置，输入内容，发送就可以了，在这里我就不演示啦！有兴趣的可以去试试哦~~~

完整代码

from PIL import Image
import pyautogui
import time

# 截取整个屏幕
im=pyautogui.screenshot()
# 截取点赞图片
om=im.crop((1754,595,1803,631)) 
#将图片保存供pyautogui.locateOnScreen（）使用
om.save("dianzan.png")

# 点赞函数
def zan(count): #为了防止一直运行下去，点赞次数由自己定义
    time.sleep(0.5)
    # 寻找刚才保存点赞手势图片
    xy = pyautogui.locateOnScreen('dianzan.png')
    # 寻找图片的中心
    center = pyautogui.center(xy)
    # 点赞
    pyautogui.click(center)
    print('点赞成功')

count = 3 # 点赞次数
while range(count):
    if pyautogui.locateOnScreen('dianzan.png'):
        zan(count)   # 调用点赞函数
        count-=1
    else:
    	#本页没有图片后，滚动鼠标；
        pyautogui.scroll(-500)
        print('没有找到目标，屏幕下滚~')
        count -= 1
print('点赞结束！')

【相关推荐：Python3视频教程 】

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!