Comment partager une file d'attente entre plusieurs processus de travail asynchrones en multitraitement ?

Partage des résultats entre plusieurs processus

En multitraitement, le partage de ressources, telles que les files d'attente, entre différents processus peut être un défi. Cet article explique comment partager une file d'attente de résultats entre plusieurs processus de travail asynchrones à l'aide de la fonction apply_async.

L'exemple de code fourni, utilisant multiprocessing.Process, échoue en raison de la limitation du partage d'objets de file d'attente entre les processus via l'héritage. Pour surmonter cette restriction, la classe multiprocessing.Manager propose une solution.

Utiliser multiprocessing.Manager

multiprocessing.Manager fournit un moyen de créer et de gérer des objets qui peuvent être partagés entre les processus. Le code suivant montre comment utiliser Manager pour partager une file d'attente entre les processus de travail :

<code class="python">import multiprocessing

def worker(name, que):
    que.put("%d is done" % name)

if __name__ == '__main__':
    pool = multiprocessing.Pool(processes=3)
    m = multiprocessing.Manager()
    q = m.Queue()
    workers = pool.apply_async(worker, (33, q))</code>

En utilisant m.Queue() au lieu de multiprocessing.Queue(), la file d'attente est créée et gérée par l'objet Manager. . Cela permet aux processus de travail d'accéder et de modifier la file d'attente sans être confrontés à l'erreur « Les objets de file d'attente ne doivent être partagés qu'entre les processus par héritage ».

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!