如何与 Python 并行执行 Bash 子进程？

在 Python 中使用 Bash 子进程进行并行处理

并行执行 bash 子进程是脚本编写和自动化中的常见任务。在 Python 中，您可以使用 subprocess 模块生成新进程，并使用 threading 模块并发执行它们。

但是，用户链接的问题的第一个答案中描述的技术会导致顺序执行bash 进程。要并行运行它们，请使用以下方法：

1.使用 multiprocessing.dummy.Pool：

对于有限数量的并发进程的并行执行，可以使用 multiprocessing.dummy.Pool。它提供了类似于 multiprocessing.Pool 的基于线程的接口。

<code class="python">import multiprocessing.dummy as mp
from subprocess import call

pool = mp.Pool(2)  # Set the maximum number of concurrent commands
for i, returncode in enumerate(pool.imap(partial(call, shell=True), commands)):
    if returncode != 0:
        print("%d command failed: %d" % (i, returncode))</code>

2.使用带有手动并发控制的子进程：

您可以在不使用线程或进程池的情况下限制并发进程的数量。

<code class="python">from subprocess import Popen
from itertools import islice

max_workers = 2
processes = (Popen(cmd, shell=True) for cmd in commands)
running_processes = list(islice(processes, max_workers))
while running_processes:
    # Check for completed processes and start new ones
    for i, process in enumerate(running_processes):
        if process.poll() is not None:
            running_processes[i] = next(processes, None)
            if running_processes[i] is None:
                del running_processes[i]
                break</code>

3.通过 os.waitpid() 使用子进程（仅限 Unix）：

在 Unix 系统上，您可以使用 os.waitpid(-1, 0) 来阻止并等待任何子进程退出。这消除了对繁忙循环的需要。

这些方法为使用 Python 控制 bash 子进程中的并发性提供了灵活的选项。

以上是如何与 Python 并行执行 Bash 子进程？的详细内容。更多信息请关注PHP中文网其他相关文章！