Python 多进程：AsyncResult 与回调函数获取结果的比较与选择-Python教程-PHP中文网

python 多进程：asyncresult 与回调函数获取结果的比较与选择

本文深入探讨了 Python 多进程中 multiprocessing.Pool 的 apply_async() 方法，对比了使用 AsyncResult 对象和回调函数两种方式获取异步执行结果的优劣。重点分析了在处理大量任务、结果顺序要求以及异常处理等不同场景下的适用性，并提供了相应的代码示例和注意事项，帮助开发者选择更高效、更健壮的并发编程方案。

在使用 Python 的 multiprocessing.Pool 进行并发编程时，apply_async() 方法允许我们异步地执行任务。获取异步任务的结果有两种主要方法：使用 AsyncResult 对象或使用回调函数。这两种方法各有优缺点，适用于不同的场景。

使用 AsyncResult 对象

apply_async() 方法返回一个 AsyncResult 对象，该对象可以用于获取异步任务的结果。我们可以将多个 AsyncResult 对象存储在一个列表中，并在稍后使用 get() 方法获取每个任务的结果。

import multiprocessing

def func(x):
  return x * x

def process_data(pool, n):
    results = []
    for i in range(n):
        result = pool.apply_async(func, (i,))
        results.append(result)

    pool.close()
    pool.join()
    data = [r.get() for r in results]
    return data

if __name__ == '__main__':
    pool = multiprocessing.Pool(processes=4)
    n = 10
    data = process_data(pool, n)
    print(data)

优点：

简单直接： 代码结构清晰，易于理解和维护。
结果顺序可控： 可以保证结果的顺序与任务提交的顺序一致。
无需全局变量： 避免了使用全局变量来存储结果，提高了代码的封装性。

缺点：

阻塞等待： get() 方法会阻塞，直到任务完成并返回结果。如果某个任务耗时较长，可能会影响整体的执行效率。
异常处理： 需要使用 try...except 块来捕获任务执行过程中可能发生的异常。
内存占用： 需要额外的列表来存储 AsyncResult 对象，可能会增加内存占用，尤其是在提交大量任务时。

异常处理示例：

    data = []
    for r in results:
        try:
            data.append(r.get())
        except Exception as e:
            print(f"任务执行出错: {e}")
            # 处理异常的逻辑

使用回调函数

另一种方法是使用回调函数。apply_async() 方法接受一个 callback 参数，该参数指定一个函数，该函数将在任务完成后被调用，并将任务的结果作为参数传递给该函数。

度加AI

度加AI官网入口，百度官方 AIGC 创作平台，支持 AI 成片、AI 生文、数字人、声音克隆、配音字幕与智能剪辑等在线创作能力。

下载

import multiprocessing

def func(x):
  return x * x

data = []

def save_result(result):
    global data
    data.append(result)

def process_data(pool, n):
    for i in range(n):
        pool.apply_async(func, (i,), callback=save_result)

    pool.close()
    pool.join()
    return data

if __name__ == '__main__':
    pool = multiprocessing.Pool(processes=4)
    n = 10
    data = [] # 初始化全局变量
    data = process_data(pool, n)
    print(data)

优点：

非阻塞： 回调函数是非阻塞的，任务完成后立即执行，无需等待其他任务。
实时处理： 可以立即处理任务的结果，无需等待所有任务完成。
资源利用率高： 能够更有效地利用系统资源，提高并发性能。

缺点：

结果顺序不确定： 结果的顺序可能与任务提交的顺序不一致，取决于任务完成的先后顺序。
需要全局变量： 通常需要使用全局变量来存储结果，可能导致代码可读性和可维护性降低。
异常处理： 需要使用 error_callback 参数来处理任务执行过程中可能发生的异常。

结果顺序控制：

如果需要保证结果的顺序与任务提交的顺序一致，可以预先分配一个包含 None 元素的列表，并在回调函数中使用索引来更新列表中的元素。

import multiprocessing

def func(x, index):
  return x * x, index

def save_result(result):
    global data
    value, index = result
    data[index] = value

def process_data(pool, n):
    global data
    data = [None] * n # 预先分配列表
    for i in range(n):
        pool.apply_async(func, (i, i), callback=save_result)

    pool.close()
    pool.join()
    return data

if __name__ == '__main__':
    pool = multiprocessing.Pool(processes=4)
    n = 10
    data = [] # 初始化全局变量
    data = process_data(pool, n)
    print(data)

异常处理示例：

def handle_exception(e):
    print(f"任务执行出错: {e}")
    # 处理异常的逻辑

pool.apply_async(func, args, callback=save_result, error_callback=handle_exception)

总结

选择使用 AsyncResult 对象还是回调函数取决于具体的应用场景。

如果需要保证结果的顺序，并且可以容忍阻塞等待，那么使用 AsyncResult 对象可能更合适。
如果对结果的顺序没有严格要求，并且需要实时处理任务的结果，那么使用回调函数可能更高效。

在实际应用中，可以根据任务的特点和性能要求，选择最合适的方案。此外，还需要注意异常处理，以确保程序的健壮性。

Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！