>백엔드 개발 >파이썬 튜토리얼 >Python 다중 처리에서는 어떤 풀 방법을 사용해야 합니까?

Python 다중 처리에서는 어떤 풀 방법을 사용해야 합니까?

Patricia Arquette
Patricia Arquette원래의
2024-11-03 13:58:31882검색

Which Pool Method Should I Use in Python Multiprocessing?

Multiprocessing.Pool: 어떤 방법을 사용해야 합니까?

멀티프로세싱을 사용하면 Python이 여러 프로세스에서 동시에 기능을 실행할 수 있습니다. 그러나 적절한 방법을 선택하는 것은 특히 Pool.apply, Pool.apply_async 및 Pool.map을 고려할 때 혼란스러울 수 있습니다. 차이점과 사용 사례를 명확히 합시다:

Pool.apply 대 Pool.apply_async 대 Pool.map

1. Pool.apply:

  • 별도의 프로세스에서 함수를 호출하고 함수가 반환될 때까지 현재 프로세스를 차단합니다.
  • 단일 함수 호출을 수행해야 할 때 사용하고 즉시 결과를 기다리세요.

2. Pool.apply_async:

  • Pool.apply와 유사하며 별도의 프로세스에서 함수를 호출하지만 즉시 반환합니다.
  • 검색할 수 있는 AsyncResult 개체를 반환합니다.
  • 결과를 사용할 수 있을 때 호출되는 콜백 함수를 지원합니다.
  • 여러 함수 호출을 비동기적으로 처리하는 데 유용합니다.

3. Pool.map:

  • 인수 시퀀스에 대해 동일한 함수를 병렬로 호출합니다.
  • 모든 결과를 얻을 때까지 차단합니다.
  • 순서를 유지합니다. 인수와 결과.
  • 동일한 함수를 여러 데이터 포인트에 적용하고 동일한 순서로 결과 목록을 얻는 데 이상적입니다.

올바른 방법 선택

다음의 경우 Pool.apply를 사용하세요.

  • 단일 함수가 반환될 때까지 차단해야 합니다.
  • 원하지 않는 경우 비동기 처리를 처리합니다.

다음과 같은 경우 Pool.apply_async를 사용하세요.

  • 여러 함수를 비동기적으로 호출하고 나중에 그 결과를 검색하려는 경우.
  • 콜백을 사용하여 결과를 처리하려는 경우.

다음과 같은 경우 Pool.map을 사용하세요.

  • 동일하게 적용해야 합니다. 함수를 여러 인수에 동시에 적용합니다.
  • 인수-결과 순서를 유지하려고 합니다.

예: Pool.apply_async의 비동기 콜백

<code class="python">import multiprocessing as mp
import time

def foo_pool(x):
    time.sleep(2)
    return x*x

result_list = []
def log_result(result):
    result_list.append(result)

def apply_async_with_callback():
    pool = mp.Pool()
    for i in range(10):
        pool.apply_async(foo_pool, args = (i, ), callback = log_result)
    pool.close()
    pool.join()
    print(result_list)

if __name__ == '__main__':
    apply_async_with_callback()</code>

출력:

[1, 0, 4, 9, 25, 16, 49, 36, 81, 64]

Pool.map과 달리 결과 순서가 함수 호출 순서와 일치하지 않을 수 있습니다.

위 내용은 Python 다중 처리에서는 어떤 풀 방법을 사용해야 합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명:
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.