Kuasai sepenuhnya GUI operasi automatik Python PyAutoGUI

Artikel ini membawakan anda pengetahuan yang berkaitan tentang Python Ia terutamanya mengatur isu berkaitan PyAutoGUI, operasi automatik Desktop GUI adalah dengan meletakkan tetikus pada desktop, dan kemudian mengikut The operasi yang sepadan dilakukan pada kedudukan yang diposisikan. Mari kita lihat. Saya harap ia akan membantu semua orang.

[Cadangan berkaitan: Tutorial video Python3]

Artifak kawalan GUI

Protagonis kami hari ini ialahpyautogui, pyautogui ialah alat automasi GUI Python tulen, yang membolehkan program mengawal satu siri operasi tetikus dan papan kekunci secara automatik untuk mencapai tujuan ujian automatik.

Pemasangan modul, buka cmd, masukkan:

pip install pyautogui

Paparan yang berjaya:
Successfully installed PyTweening-1.0.4 mouseinfo-0.1.3 pyautogui-0.9.53 pygetwindow-0.0.9 pymsgbox-1.0.9 pyperclip-1.8.2 pyrect-0.2.0 pyscreeze-0.1.28

Anda boleh menggunakannya terus selepas pemasangan.

Panduan pakej

import pyautogui

Kendalian tetikus

Maklumat tetikus

• pyautogui.position() Dapatkan tetikus kedudukan
• pyautogui.onScreen(x,y) menentukan sama ada koordinat (x,y) berada dalam skrin dan mengembalikan True,Flase
  Ambil sudut kanan atas sebagai titik (0,0)

Pergerakan tetikus

Operasi desktop yang paling asas ialah operasi tetikus Kita boleh mengawal pergerakan tetikus:

• pyautogui.moveTo(x,y) pergerakan kedudukan mutlak, pindah ke x,y
• pyautogui.moveRel(x,y) pergerakan kedudukan relatif, alih dari kedudukan semasa

# 移动鼠标
pyautogui.moveTo(200,400,duration=2)
pyautogui.moveRel(200,500,duration=2)

Seluruh desktop mempunyai bahagian atas sudut kiri sebagai asal paksi koordinat, semua Semua operasi menggunakan asal ini untuk menentukan kedudukan operasi.

Barisan pertama kod menggerakkan tetikus ke kedudukan piksel yang ditentukan (200,400)
Baris kedua kod menggerakkan tetikus 200px ke kanan dan 500px ke bawah mengikut titik semasa.

Terdapat tempoh parameter biasa dalam kedua-dua baris kod Parameter ini bermaksud 移动时间, iaitu operasi pergerakan selesai dalam masa yang ditetapkan dan unit ialah 秒.

Jalankan dua baris kod ini dan perhatikan perubahan tetikus skrin.

Klik tetikus

Biasanya, tetikus kami mempunyai dua butang di kiri dan kanan, dan tetikus yang lebih maju mempunyai butang di tengah.

Tetikus saya hanya mempunyai dua butang dan tiada butang di tengah~
pyautoguiTerdapat pemprosesan yang sepadan untuk tiga operasi butang ini:

• pyautogui.click (. )
  (100,100, klik=2,interval=0.5,button='right',duration=0.2)
  kedudukan, bilangan klik, selang, butang kanan (butang kiri lalai), Selang bergerak
• kiri: butang kiri kanan: butang kanan tengah: butang tengah

# 鼠标点击，默认左键
pyautogui.click(100,100)   
# 单击左键
pyautogui.click(100,100,button='left')  
# 单击右键
pyautogui.click(100,300,button='right') 
# 单击中间 
pyautogui.click(100,300,button='middle')

klik tetikus Jika parameter button tidak ditentukan, lalainya ialah klik butang kiri. Dua yang pertama Parameter pertama ialah lokasi koordinat klik.

Jalankan kod ini dan lihat apa yang berlaku pada desktop anda?

Selain operasi klik, tetikus juga mempunyai operasi klik dua kali:

• pyautogui.doubleClick() #Klik dua kali butang kanan
• pyautogui. leftClick() #Double-click the left button
• pyautogui.middleClick() #Double middle click
• pyautogui.tripleClick() #Double-click the screen

# 双击左键
pyautogui.doubleClick(10,10)  
# 双击右键
pyautogui.rightClick(10,10)   
# 双击中键
pyautogui.middleClick(10,10) 
# 双击屏幕
pyautogui.tripleClick(10,10)

Fungsi operasi juga sangat mudah, saya percaya semua orang boleh memahaminya sepintas lalu Lihat dengan jelas Jika anda tidak dapat memahaminya pada pandangan pertama, sila lihat beberapa pandangan lagi.

Rakan yang biasa dengan bahagian hadapan mungkin dengan serta-merta berfikir bahawa operasi tetikus mempunyai proses menekan dan melepaskan, dan operasi skrin kami juga mempunyai kawalan yang sepadan:

Klik dan lepaskan tetikus

• pyautogui.mouseUp() #Lepaskan
• pyautogui.mouseDown() #Klik hanya memerlukan kekunci input

# 鼠标按下
pyautogui.mouseDown()   
# 鼠标释放
pyautogui.mouseUp()

Seret tetikus

• pyautogui.dragTo() #Seretan kedudukan mutlak
• pyautogui.dragRel() #Seretan kedudukan relatif
  Contoh: pyautogui.dragRel(-100,200,duration=0.5,button='right ')

Kami boleh mengawal tetikus untuk menyeret ke kedudukan koordinat yang ditentukan, dan menetapkan masa dan kekunci operasi:

pyautogui.dragTo(100,300,duration=1,button='right')

Kesan operasi ini serupa dengan pergerakan sebelumnya.

Berdasarkan pengalaman mudah alih sebelumnya, kami turut menyeret tetikus ke arah:

pyautogui.dragRel(100,300,duration=4,button='left')

Menatal tetikus

Dalam operasi desktop, kadangkala kita perlu menatal tetikus ke capai ke atas Atau kedudukan ke bawah, pada masa ini kita boleh menggunakan fungsi scroll untuk mengawal:

• pyautogui.scroll() #(,x,y) jarak gelongsor (atas, -bawah), kedudukan

pyautogui.scroll(30000)

Parameter ialah integer, menunjukkan bilangan unit untuk menatal ke atas atau ke bawah Unit ini mungkin berbeza bergantung pada sistem pengendalian yang berbeza. Jika anda menatal ke atas, masukkan integer positif dan jika anda menatal ke bawah, masukkan integer negatif.

Kendalian papan kekunci

Kawalan papan kekunci

• pyautogui.keyDown() #Simulasikan kekunci ke bawah, kandungannya ialah simbol kekunci
• pyautogui . keyUp() #Simulate pelepasan kekunci
• pyautogui.press() #Simulate proses penekanan kekunci, iaitu gabungan keyDown dan keyUP
• pyautogui.hotkey() #pressThe perbezaan yang sama: anda boleh menggabungkan ketukan kekunci
• pyautogui.typewrite() #Simulate kandungan output papan kekunci

Sebagai contoh, bagaimanakah anda biasanya memasukkan tanda seru (!) pada papan kekunci?

按住 shift 按键，然后再按住 1 按键，就可以了。用pyautogui控制就是：

pyautogui.keyDown('shift')    
pyautogui.press('1')    
pyautogui.keyUp('shift')

运行上面的代码，如果你的鼠标是放在编辑框中，你会得到一个感叹号！

我们还可以直接输出内容：

pyautogui.typewrite('python', 1)

第一个参数是输出的内容，第二个参数是间隔时间，单位是秒。

运行上面代码，你的编辑器里面就会每隔1秒钟按顺序输出 python 的6个字母。

特殊符号

有时我们需要输入键盘的一些特殊的符号按键，比如 换行、方向键等，这些有相对应的键盘字符串表示：

pyautogui.typewrite(['p','y','t','h','o','n','enter'])   
pyautogui.typewrite(['p','y','t','h','o','n',' '])

运行上面代码，编辑器里面就会输出 python 之后换行。

其他特殊按键对应的字符串请参考官方说明。

快捷键

如果我要复制一个内容，大部分情况下会使用快键键 ctrl + c，按照上面讲的，我们应该这么实现：

pyautogui.keyDown('ctrl')
pyautogui.keyDown('c')
pyautogui.keyUp('c')
pyautogui.keyUp('ctrl')

实现的效果和上面的4行代码相同。

键盘字符串 说明
enter(或return 或 \n) 回车
esc ESC键
shiftleft, shiftright 左右SHIFT键
altleft, altright 左右ALT键
ctrlleft, ctrlright 左右CTRL键
tab (\t) TAB键
backspace, delete BACKSPACE 、DELETE键
pageup, pagedown PAGE UP 和 PAGE DOWN键
home, end HOME 和 END键
up, down, left,right 箭头键
f1, f2, f3…. f12 F1…….F12键
volumemute, volumedown,volumeup 声音变大变小静音（有些键盘没有）
pause PAUSE键，暂停键
capslock CAPS LOCK 键
numlock NUM LOCK 键
scrolllock SCROLLLOCK 键
insert INSERT键
printscreen PRINT SCREEN键
winleft, winright Win键（windows ）
command command键（Mac OS X ）
option option（Mac OS X）

屏幕处理

获取屏幕截屏

我们先来假设一个场景：我现在要在屏幕上找到一个红色的点，你会怎么做？通常的做法是拿到这个红色点的颜色值，然后再对屏幕上的点逐个进行比较，直到找到为止。

pyautogui 为我们这个操作场景提供了支持，分别有三个函数可以完成这三件事情。

• img = pyautogui.screenshot() #默认是全屏，可是输入截屏大小
• img.save(‘img.jpg’)
• pyautogui.screenshot(‘image’,region=(x,y,w,h) # 返回屏幕的截图，是一个Pillow的image对象
• pyautogui.pixelMatchesColor(500,500,(12,120,400)) # 是一个对比函数，对比的是屏幕上（500，500）这一点像素的颜色，与所给的元素是否相同；
• pyautogui.locateCenterOnScreen(‘image’, region=(x,y,w,h) ) #图片匹配功能，查找image图片在屏幕中的位置，region限制查找范围

im = pyautogui.screenshot()
im.save('screenshot.png')
rgb = im.getpixel((100, 500))
print(rgb)
match = pyautogui.pixelMatchesColor(500,500,(12,120,400))
print(match)

第一个是获取屏幕截图函数，它可以返回一个 Pillow 的 image 对象; 第二个是获取屏幕截图中指定坐标点的颜色，返回 rgb 颜色值；第三个是将指定坐标点的颜色和目标的颜色进行比对，返回布尔值。

我们再来升级一下需求：

我现在要在屏幕上找到 edge 浏览器的图标，你会怎么做？

通常的做法是先知道 edge 浏览器的图标长啥样，是绿色还是蓝色，是胖的还是瘦的，对吧？然后再在屏幕上去进行图标的匹配，直到找到一个图标跟我们目标图标一样，就得到了结果。

于是，我们的代码如下：

# 图像识别（一个）
oneLocation = pyautogui.locateOnScreen('1.png')
print(oneLocation)  

# 图像识别（多个）
allLocation = pyautogui.locateAllOnScreen('1.png')
print(list(allLocation))

你可以在桌面上将某个应用的图标截取下来，保存为图片，然后使用上面几行代码来识别，识别成功，你会返回类似下面的结果：

Box(left=20, top=89, width=33, height=34)
[Box(left=20, top=89, width=33, height=34)]

这就是图片在桌面的位置，如果找不到图片，就会返回 None。

信息框

当你在模拟一个桌面操作的时候，如果有分支操作需要根据实际情况来判断，你是不是需要有一个地方可以让你选择走哪个分支？

pyautogui 贴心地考虑到了这种情况，你可以通过弹出一个选择框来中断当前的操作，选择操作分支。

• pyautogui.alert(text=,title=,button=) #按钮框 文本，标题，按钮名
• pyautogui.confirm(text=,title=,buttons=) #组合按钮框（多个按钮）
• pyautogui.prompt(text=,title=,default=) #输入框 #文本，标题，默认文字
• pyautogui.password(text=,title=,default=,mask=) #密码输入框 #输入框 #文本，标题，默认文字，掩码样式
• pyautogui.mouseInfo() #获取鼠标的信息

way = pyautogui.confirm('领导，该走哪条路？', buttons=['农村路', '水路', '陆路'])
print(way)

这里就是我们 HTML 页面的 confirm 选择框，选择了选项之后，我们可以获取到选择的选项，然后基于这个选项做判断，进入相应的操作分支。

除了选择确认框之外，还有其他一些提示信息框：

# 警告框
alert = pyautogui.alert(text='警告！敌军来袭！', title='警告框')
print(alert)
# 密码框
password = pyautogui.password('请输入密码')
print(password)
# 普通输入框
input = pyautogui.prompt('请输入指令：')
print(input)

pyautogui 的基本知识就给大家介绍到这里，这个 python 模块的功能十分强大，函数都非常简单，对 python 初学者比较友好。学了这些基本知识之后，你可以运用这些基本知识的组合，去实现一些有趣的桌面自动化操作，快去尝试一把吧！

自动点赞实战

我们通过今天的基础知识的学习，我们可以通过pyautogui+PIL结合来实现网页自动点赞的实战练习。

我们先介绍一个PIL库下一个裁剪图片的函数crop。

使用PIL裁切图片使用PIL需要引用Image，使用Image的open(file)方法可以返回打开的图片，使用crop((x1,y1,x2,y2))方法可以对图片做裁切。
该区域是一个元组，（x1,y1）是图片左上角的坐标，（x2，y2）是图片右下角的坐标。
Python Imaging Library 使用左上角为 (0, 0)的坐标系统。

首先我们要知道点赞的图片的样子

# 截取整个屏幕
im=pyautogui.screenshot()
# 截取点赞图片
om=im.crop((1754,595,1803,631)) 
#将图片保存供pyautogui.locateOnScreen（）使用
om.save("dianzan.png")

根据截取的屏幕仅截取带赞的手势图片，可以用pyautogui.mouseInfo()获取图片的位置(1754,595,1803,631)
或者通过pyautogui.location()来确定首尾坐标

在当前目录下得到如下图片。

# 点赞函数
def zan(count): #为了防止一直运行下去，点赞次数由自己定义
    time.sleep(0.5)
    # 寻找刚才保存点赞手势图片
    xy = pyautogui.locateOnScreen('dianzan.png')
    # 寻找图片的中心
    center = pyautogui.center(xy)
    # 点赞
    pyautogui.click(center)
    print('点赞成功')

count = 3 # 点赞次数
while range(count):
    if pyautogui.locateOnScreen('dianzan.png'):
        zan(count)   # 调用点赞函数
        count-=1
    else:
    	#本页没有图片后，滚动鼠标；
        pyautogui.scroll(-500)
        print('没有找到目标，屏幕下滚~')
        count -= 1
print('点赞结束！')

未点赞之前的图片是这样的：

自动点赞之后：

是不是很厉害呢？其实pyautogui还可以做很多东西，比如说自动发信息，其原理还是不变的，找到对应的位置，输入内容，发送就可以了，在这里我就不演示啦！有兴趣的可以去试试哦~~~

完整代码

from PIL import Image
import pyautogui
import time

# 截取整个屏幕
im=pyautogui.screenshot()
# 截取点赞图片
om=im.crop((1754,595,1803,631)) 
#将图片保存供pyautogui.locateOnScreen（）使用
om.save("dianzan.png")

# 点赞函数
def zan(count): #为了防止一直运行下去，点赞次数由自己定义
    time.sleep(0.5)
    # 寻找刚才保存点赞手势图片
    xy = pyautogui.locateOnScreen('dianzan.png')
    # 寻找图片的中心
    center = pyautogui.center(xy)
    # 点赞
    pyautogui.click(center)
    print('点赞成功')

count = 3 # 点赞次数
while range(count):
    if pyautogui.locateOnScreen('dianzan.png'):
        zan(count)   # 调用点赞函数
        count-=1
    else:
    	#本页没有图片后，滚动鼠标；
        pyautogui.scroll(-500)
        print('没有找到目标，屏幕下滚~')
        count -= 1
print('点赞结束！')

【相关推荐：Python3视频教程 】

Atas ialah kandungan terperinci Kuasai sepenuhnya GUI operasi automatik Python PyAutoGUI. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!