如何在 Python 中實作 Bash 子程序的平行執行：執行緒與其他選項？

Python 中的多執行緒Bash 子進程

執行緒對於並行化任務至關重要，但將它們與子進程模組一起使用可能會很棘手。透過執行緒執行 bash 進程時，它們往往是順序運行的。

無需執行緒的並行執行

並行執行子程序不需要使用執行緒。 subprocess 模組的Popen 函數可以直接處理這個問題：

<code class="python">from subprocess import Popen

commands = ['bash commands here']
processes = [Popen(cmd, shell=True) for cmd in commands]

# Perform other tasks while processes run in parallel
for p in processes:
    p.wait()</code>

限制並發子程序

要限制並發進程的數量，請考慮使用multiprocessing.dummycessing.dummycessing.dummycessing.dummycessing.dummy. Pool，它模仿multiprocessing.Pool 但利用線程：

<code class="python">from functools import partial
from multiprocessing.dummy import Pool
from subprocess import call

commands = ['bash commands here']
pool = Pool(2) # Limit to 2 concurrent processes
for _, returncode in enumerate(pool.imap(partial(call, shell=True), commands)):
    if returncode != 0:
        print(f"Command failed: {returncode}")</code>

基於線程的替代方案

在不使用進程池的情況下限制並發進程的其他選項包括執行緒佇列組合或以下方法：

<code class="python">from subprocess import Popen
from itertools import islice

commands = ['bash commands here']
running_processes = []

for cmd in islice(commands, 2):
    running_processes.append(Popen(cmd, shell=True))

while running_processes:
    for i, process in enumerate(running_processes):
        if process.poll() is not None:
            running_processes[i] = next(islice(commands, 1), None)</code>

Unix 特定解決方案

對於基於Unix 的系統，請考慮將os.waitpid() 與上述方法結合使用避免繁忙的循環。我希望這涵蓋了 Python 中多執行緒 bash 子程序可用的各種選項，並解決遇到的順序執行問題。如果您還有任何疑問，請隨時聯繫！

以上是如何在 Python 中實作 Bash 子程序的平行執行：執行緒與其他選項？的詳細內容。更多資訊請關注PHP中文網其他相關文章！