Maison >développement back-end >Tutoriel Python >Résumé des points de connaissances multi-processus Python
Cet article vous apporte des connaissances pertinentes sur python, qui présente principalement le contenu pertinent sur le multi-processus, y compris ce qu'est le multi-processus, la création de processus, la synchronisation inter-processus, le pool de processus, etc., ce qui suit est Prenons un écoutez, j'espère que cela aidera tout le monde.
Apprentissage recommandé : Tutoriel vidéo Python
Programme : Par exemple, xxx.py est un programme, qui est un
Process statique : Après l'exécution d'un programme, le code + les ressources utilisées sont appelés processus, qui sont opérations Unité de base de l'allocation système des ressources. Non seulement le multitâche peut être effectué via des threads, mais des processus peuvent également être utilisés
Pendant le travail, le nombre de tâches est souvent supérieur au nombre de cœurs du processeur, c'est-à-dire que certaines tâches doivent être en cours d'exécution. , tandis que d'autres tâches attendent que le CPU s'exécute, ce qui entraîne différents états
Module
multiprocessing
réussi Créez un objetProcess
et appelez sa méthodestart()
pour générer un processus,Process code> et <code>threading.Thread API
identiques.multiprocessing
模块通过创建一个Process
对象然后调用它的start()
方法来生成进程,Process
与threading.Thread API
相同。
语法格式:multiprocessing.Process(group=None, target=None, name=None, args=(), kwargs={}, *, daemon=None)
参数说明:
group
:指定进程组,大多数情况下用不到target
:如果传递了函数的引用,可以任务这个子进程就执行这里的代码name
:给进程设定一个名字,可以不设定args
:给target指定的函数传递的参数,以元组的方式传递kwargs
:给target指定的函数传递命名参数multiprocessing.Process 对象具有如下方法和属性:
方法名/属性 | 说明 |
---|---|
run() |
进程具体执行的方法 |
start() |
启动子进程实例(创建子进程) |
join([timeout]) |
如果可选参数 timeout 是默认值 None,则将阻塞至调用 join() 方法的进程终止;如果 timeout 是一个正数,则最多会阻塞 timeout 秒 |
name |
当前进程的别名,默认为Process-N,N为从1开始递增的整数 |
pid |
当前进程的pid(进程号) |
is_alive() |
判断进程子进程是否还在活着 |
exitcode |
子进程的退出代码 |
daemon |
进程的守护标志,是一个布尔值。 |
authkey |
进程的身份验证密钥。 |
sentinel |
系统对象的数字句柄,当进程结束时将变为 ready。 |
terminate() |
不管任务是否完成,立即终止子进程 |
kill() |
与 terminate() 相同,但在 Unix 上使用 SIGKILL 信号。 |
close() |
Format de syntaxe | :
group
: Spécifie le groupe de processus, qui n'est pas utilisé dans la plupart des cas 🎜🎜target
: Si une référence de fonction est passée, la la tâche peut être Ce processus enfant exécute le code ici🎜🎜name
: définissez un nom pour le processus, vous n'avez pas besoin de le définir🎜🎜args
: les paramètres passés à la fonction spécifiée par la cible, transmis sous forme de tuple 🎜🎜kwargs
: transmet les paramètres nommés à la fonction spécifiée par la cible 🎜🎜🎜🎜multiprocessing. L'objet Process a les méthodes et attributs suivants : 🎜🎜 Nom/attribut de la méthode | Description | 🎜||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
方法名 | 说明 |
---|---|
q=Queue() |
初始化Queue()对象,若括号中没有指定最大可接收的消息数量,或数量为负值,那么就代表可接受的消息数量没有上限(直到内存的尽头) |
Queue.qsize() |
返回当前队列包含的消息数量 |
Queue.empty() |
如果队列为空,返回True,反之False |
Queue.full() |
如果队列满了,返回True,反之False |
Queue.get([block[, timeout]]) |
获取队列中的一条消息,然后将其从列队中移除,block默认值为True。1、如果block使用默认值,且没有设置timeout(单位秒),消息列队如果为空,此时程序将被阻塞(停在读取状态),直到从消息列队读到消息为止,如果设置了timeout,则会等待timeout秒,若还没读取到任何消息,则抛出"Queue.Empty"异常。2、如果block值为False,消息列队如果为空,则会立刻抛出"Queue.Empty"异常 |
Queue.get_nowait() |
相当Queue.get(False) |
Queue.put(item,[block[, timeout]]) |
将item消息写入队列,block默认值为True。1、如果block使用默认值,且没有设置timeout(单位秒),消息列队如果已经没有空间可写入,此时程序将被阻塞(停在写入状态),直到从消息列队腾出空间为止,如果设置了timeout,则会等待timeout秒,若还没空间,则抛出"Queue.Full"异常。 2、如果block值为False,消息列队如果没有空间可写入,则会立刻抛出"Queue.Full"异常 |
Queue.put_nowait(item) 3 Processus pid |
Exécution des résultats : |
from multiprocessing import Process, Queueimport os, time, random# 写数据进程执行的代码:def write(q): for value in ['A', 'B', 'C']: print('Put %s to queue...' % value) q.put(value) time.sleep(random.random())# 读数据进程执行的代码:def read(q): while True: if not q.empty(): value = q.get(True) print('Get %s from queue.' % value) time.sleep(random.random()) else: breakif __name__=='__main__': # 父进程创建Queue,并传给各个子进程: q = Queue() pw = Process(target=write, args=(q,)) pr = Process(target=read, args=(q,)) # 启动子进程pw,写入: pw.start() # 等待pw结束: pw.join() # 启动子进程pr,读取: pr.start() pr.join() # pr进程里是死循环,无法等待其结束,只能强行终止: print('') print('所有数据都写入并且读完')🎜Résultats d'exécution :
import multiprocessingimport timedef add(num, value): print('add{0}:num={1}'.format(value, num)) for i in range(0, 2): num += value print('add{0}:num={1}'.format(value, num)) time.sleep(1)if __name__ == '__main__': lock = multiprocessing.Lock() num = 0 p1 = multiprocessing.Process(target=add, args=(num, 1)) p2 = multiprocessing.Process(target=add, args=(num, 2)) p1.start() p2.start()🎜3. Synchronisation inter-processus - File d'attente🎜
🎜Les processus doivent parfois communiquer entre eux. communication.🎜1. Description de la syntaxe de la classe Queue🎜
Nom de la méthode | Description | 🎜 thead>||||||
---|---|---|---|---|---|---|---|
方法名 | 说明 |
---|---|
close() |
关闭Pool,使其不再接受新的任务 |
terminate() |
不管任务是否完成,立即终止 |
join() |
主进程阻塞,等待子进程的退出, 必须在close或terminate之后使用 |
初始化Pool时,可以指定一个最大进程数,当有新的请求提交到Pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到指定的最大值,那么该请求就会等待,直到池中有进程结束,才会用之前的进程来执行新的任务,请看下面的实例:
# -*- coding:utf-8 -*-from multiprocessing import Poolimport os, time, randomdef worker(msg): t_start = time.time() print("%s开始执行,进程号为%d" % (msg,os.getpid())) # random.random()随机生成0~1之间的浮点数 time.sleep(random.random()*2) t_stop = time.time() print(msg,"执行完毕,耗时%0.2f" % (t_stop-t_start))po = Pool(3) # 定义一个进程池,最大进程数3for i in range(0,10): # Pool().apply_async(要调用的目标,(传递给目标的参数元祖,)) # 每次循环将会用空闲出来的子进程去调用目标 po.apply_async(worker,(i,))print("----start----")po.close() # 关闭进程池,关闭后po不再接收新的请求po.join() # 等待po中所有子进程执行完成,必须放在close语句之后print("-----end-----")
运行结果:
----start---- 0开始执行,进程号为21466 1开始执行,进程号为21468 2开始执行,进程号为21467 0 执行完毕,耗时1.01 3开始执行,进程号为21466 2 执行完毕,耗时1.24 4开始执行,进程号为21467 3 执行完毕,耗时0.56 5开始执行,进程号为21466 1 执行完毕,耗时1.68 6开始执行,进程号为21468 4 执行完毕,耗时0.67 7开始执行,进程号为21467 5 执行完毕,耗时0.83 8开始执行,进程号为21466 6 执行完毕,耗时0.75 9开始执行,进程号为21468 7 执行完毕,耗时1.03 8 执行完毕,耗时1.05 9 执行完毕,耗时1.69 -----end-----
如果要使用Pool创建进程,就需要使用multiprocessing.Manager()中的Queue()
而不是multiprocessing.Queue(),否则会得到一条如下的错误信息:RuntimeError: Queue objects should only be shared between processes through inheritance.
下面的实例演示了进程池中的进程如何通信:
# -*- coding:utf-8 -*-# 修改import中的Queue为Managerfrom multiprocessing import Manager,Poolimport os,time,randomdef reader(q): print("reader启动(%s),父进程为(%s)" % (os.getpid(), os.getppid())) for i in range(q.qsize()): print("reader从Queue获取到消息:%s" % q.get(True))def writer(q): print("writer启动(%s),父进程为(%s)" % (os.getpid(), os.getppid())) for i in "itcast": q.put(i)if __name__=="__main__": print("(%s) start" % os.getpid()) q = Manager().Queue() # 使用Manager中的Queue po = Pool() po.apply_async(writer, (q,)) time.sleep(1) # 先让上面的任务向Queue存入数据,然后再让下面的任务开始从中取数据 po.apply_async(reader, (q,)) po.close() po.join() print("(%s) End" % os.getpid())
运行结果:
(11095) start writer启动(11097),父进程为(11095)reader启动(11098),父进程为(11095)reader从Queue获取到消息:i reader从Queue获取到消息:t reader从Queue获取到消息:c reader从Queue获取到消息:a reader从Queue获取到消息:s reader从Queue获取到消息:t(11095) End
进程:能够完成多任务,比如 在一台电脑上能够同时运行多个QQ
线程:能够完成多任务,比如 一个QQ中的多个聊天窗口
定义的不同
进程是系统进行资源分配和调度的一个独立单位.
线程是进程的一个实体,是CPU调度和分派的基本单位,它是比进程更小的能独立运行的基本单位.线程自己基本上不拥有系统资源,只拥有一点在运行中必不可少的资源(如程序计数器,一组寄存器和栈),但是它可与同属一个进程的其他的线程共享进程所拥有的全部资源.
推荐学习:python视频教程
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!