스레드에 의존하지 않고 Python에서 진정한 병렬 Bash 프로세스 실행을 달성하는 방법은 무엇입니까?

Python의 스레딩 및 하위 프로세스 모듈을 사용하여 병렬 Bash 프로세스를 생성하는 방법은 무엇입니까?

원래 질문:

Python의 스레딩 및 하위 프로세스 모듈을 사용하여 병렬 bash 프로세스를 생성하려면 어떻게 해야 합니까? 이 스택 오버플로 응답에 설명된 대로 스레드가 시작되면 병렬 실행 대신 연속 실행이 발생합니다.

답변:

원래 가정과 달리 스레드는 필요하지 않습니다. 병렬 bash 하위 프로세스 실행. 다음 기술은 다양한 옵션을 제공합니다.

직접 실행(스레드 없음):

<code class="python">from subprocess import Popen

commands = ['date; ls -l; sleep 1; date', ...]
processes = [Popen(cmd, shell=True) for cmd in commands]</code>

multiprocessing.dummy.Pool과 함께 스레드를 사용하는 제한된 동시 명령:

<code class="python">from functools import partial
from multiprocessing.dummy import Pool
from subprocess import call

pool = Pool(2)
for i, returncode in enumerate(pool.imap(partial(call, shell=True), commands)):
    ...</code>

프로세스 풀 없이 동시 하위 프로세스 제한:

<code class="python">from subprocess import Popen
from itertools import islice

max_workers = 2
processes = (Popen(cmd, shell=True) for cmd in commands)
running_processes = list(islice(processes, max_workers))
while running_processes:
    ...</code>

Unix 시스템 참고 사항:

Unix 플랫폼에서는 하위 프로세스가 종료될 때까지 기다리도록 os.waitpid(-1, 0)를 차단하여 바쁜 루프를 피하세요.

위 내용은 스레드에 의존하지 않고 Python에서 진정한 병렬 Bash 프로세스 실행을 달성하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!