如何在 Python 中实现 Bash 子进程的并行执行：线程与其他选项？

Python 中的多线程 Bash 子进程

线程对于并行化任务至关重要，但将它们与子进程模块一起使用可能会很棘手。通过线程执行 bash 进程时，它们往往是顺序运行的。

无需线程的并行执行

并行运行子进程不需要使用线程。 subprocess 模块的 Popen 函数可以直接处理这个问题：

<code class="python">from subprocess import Popen

commands = ['bash commands here']
processes = [Popen(cmd, shell=True) for cmd in commands]

# Perform other tasks while processes run in parallel
for p in processes:
    p.wait()</code>

限制并发子进程

要限制并发进程的数量，请考虑使用 multiprocessing.dummy.Pool，它模仿 multiprocessing.Pool 但利用线程：

<code class="python">from functools import partial
from multiprocessing.dummy import Pool
from subprocess import call

commands = ['bash commands here']
pool = Pool(2) # Limit to 2 concurrent processes
for _, returncode in enumerate(pool.imap(partial(call, shell=True), commands)):
    if returncode != 0:
        print(f"Command failed: {returncode}")</code>

基于线程的替代方案

在不使用进程池的情况下限制并发进程的其他选项包括线程队列组合或以下方法：

<code class="python">from subprocess import Popen
from itertools import islice

commands = ['bash commands here']
running_processes = []

for cmd in islice(commands, 2):
    running_processes.append(Popen(cmd, shell=True))

while running_processes:
    for i, process in enumerate(running_processes):
        if process.poll() is not None:
            running_processes[i] = next(islice(commands, 1), None)</code>

Unix 特定解决方案

对于基于 Unix 的系统，请考虑将 os.waitpid() 与上述方法结合使用避免繁忙的循环。我希望这涵盖了 Python 中多线程 bash 子进程可用的各种选项，并解决遇到的顺序执行问题。如果您还有任何疑问，请随时联系！

以上是如何在 Python 中实现 Bash 子进程的并行执行：线程与其他选项？的详细内容。更多信息请关注PHP中文网其他相关文章！