在Python中的平行處理-Python教學-PHP中文網

首頁

後端開發

Python教學

在Python中的平行處理

王林

Sep 11, 2023 pm 11:49 PM

python多執行緒平行處理

在Python中的平行處理

簡介

在當今快節奏的數位環境中，對於開發人員和資料科學家來說，有效完成計算困難的任務至關重要。幸運的是，由於其適應性和廣泛的生態系統，Python提供了強大的平行處理能力。我們可以將困難的問題分解為更小、更易於管理的活動，並同時進行處理，從而獲得大幅度的效能提升。

Python 的平行處理功能使我們能夠利用可用的電腦資源更快、更有效地進行網頁抓取、科學模擬和資料分析等活動。在這篇文章中，我們將透過 Python 並行處理開始一段旅程。我們將研究許多方法，包括多處理、非同步編程和多線程，並學習如何有效地使用它們來繞過系統中的效能障礙。加入我們，讓我們認識到 Python 並行處理的全部威力，並達到效能和生產力的新高度。

了解並行處理

將作業拆分為較小的子任務並在多個處理器或核心上同時執行它們稱為平行處理。並行處理可以透過有效地利用可用的計算資源來顯著減少程式的總執行時間。非同步程式設計、多處理和多執行緒只是 Python 提供的幾種平行處理方法。

Python 中的多執行緒

使用多執行緒的方法，許多執行緒在同一個行程內同時運行，共享同一塊記憶體。可以使用Python的threading模組很容易地實作多執行緒。然而，在Python中使用多執行緒可能不會對CPU密集型操作產生加速效果，因為全域解釋器鎖定（GIL）只允許一個執行緒同時執行Python字節碼。然而，多執行緒對於I/O密集型任務可能很有用，因為它允許執行緒在等待I/O操作完成時執行其他操作。

讓我們來看一個使用多執行緒下載多個網頁的範例：

範例

import threading import requests 
 
def download_page(url): 
    response = requests.get(url)    
print(f"Downloaded {url}") 
 
urls = [ 
    "https://example.com", 
    "https://google.com", 
    "https://openai.com" 
] 
 
threads = [] 
 for url in 
 urls: 
    thread = threading.Thread(target=download_page,
args=(url,))     thread.start()    threads.append(thread) 
 
for thread in threads: 
    thread.join()

輸出

Downloaded https://example.com 
Downloaded https://google.com 
Downloaded https://openai.com

由於上面的程式碼片段可以同時進行多個下載，因此該程式碼片段在其自己的線程中下載每個 URL。 join() 函數確保主執行緒等待每個執行緒完成後再繼續。

Python 中的多重處理

多進程與多執行緒相對應，透過使用多個進程，每個進程都有自己的記憶體空間，提供了真正的並行性。 Python的multiprocessing模組提供了一個高階介面來實現多進程。多進程適用於CPU密集型任務，因為每個進程在獨立的Python解釋器中運行，避免了GIL多執行緒限制。

在下面的程式碼中使用了多進程。一旦池類別產生了一組工作進程，map()方法會將負擔分配給可用的進程。結果列表是結果的集合。

考慮下面的例子，在這個例子中，我們使用多個進程來計算列表中每個整數的平方：

範例

import multiprocessing 
 
def square(number):    
return number ** 2 
 
numbers = [1, 2, 3, 4, 5] 
 
with multiprocessing.Pool() as pool: 
    results = pool.map(square, numbers) 
 
print(results)

輸出

[1, 4, 9, 16, 25]

Python 非同步程式設計

透過利用非阻塞操作，非同步程式設計實現了I/O密集型進程的高效執行。由於有了asyncio套件，Python可以使用協程、事件循環和futures來建立非同步程式碼。隨著線上應用和API的流行，非同步程式設計變得越來越重要。

下面的程式碼範例中的fetch_page()協程利用aiohttp來非同步取得網頁。 main()方法產生一個作業列表，然後使用asyncio.gather()同時執行這些作業。若要等待任務完成並接收結果，請使用await關鍵字。

讓我們來看一個使用asyncio和aiohttp非同步取得多個網頁的範例：

範例

import asyncio 
import aiohttp 
 
async def fetch_page(url):     async with aiohttp.ClientSession() as session:         async with session.get(url) as response: 
            return await response.text() 
 
async def main(): 
    urls = [ 
        "https://example.com", 
        "https://google.com", 
        "https://openai.com" 
    ] 
 
    tasks = [fetch_page(url) for url in urls]     pages = await asyncio.gather(*tasks)     
print(pages) 
 
asyncio.run(main())

輸出

['<!doctype html>\n<html>\n<head>\n    <title>Example Domain</title>\n\n    <meta 
charset="utf-8" />\n    <meta http-equiv="Content-type"content="text/html; charset=utf-8" />\n    <meta name="viewport" content="width=device-width, initialscale=1" />\n    <style type="text/css">\n    body {\n        background-color: #f0f0f2;\n  margin: 0;\n        padding: 0;\n        font-family: "Open Sans", "Helvetica Neue", Helvetica, Arial, sans-serif;\n        \n    }\n    div {\n        width: 600px;\n        margin: 5em auto;\n  padding: 50px;\n        background-color: #fff;\n        border-radius: 1em;\n    }\n    a:link, a:visited {\n        color: #38488f;\n        text-decoration: none;\n    }\n    @media (maxwidth: 700px) {\n        body {\n            background-color: #fff;\n        }\n        div {\n  width: auto;\n            margin: 0 auto;\n            border-radius: 0;\n            padding: 1em;\n        }\n    }\n    </style>    \n</head>\n\n<body>\n<div>\n    <h1 id="Example-Domain">Example Domain</h1>\n    <p>This domain is for use in illustrative examples in documents. You may use this\n    domain in literature without prior coordination or asking for permission.</p>\n    <p><a href="https://www.iana.org/domains/example">More information...</a></p>\n</div>\n</body>\n</html>', '<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="en"><head><meta content="Search the world's information, including webpages, images, videos and more. Google has many special features to help you find exactly what you're looking for." name="description"><meta content="noodp" name="robots"><meta content="text/html; charset=UTF-8" http-equiv="Content-Type"><meta content="/logos/doodles/2021/mom-
and-dad-6116550989716480.2-law.gif" itemprop="image"><link href="/logos/doodles/2021/mom-and-dad-6116550989716480.2-law.gif" rel="icon" type="image/gif"><title>Google</title><script nonce="sJwM0Ptp5a/whzxPtTD8Yw==">(function(){window.google={kEI:'cmKgYY37A7 K09QPhzKuACw',kEXPI:'1354557,1354612,1354620,1354954,1355090,1355493,13556
83,3700267,4029815,4031109,4032677,4036527,4038022,4043492,4045841,4048347,4
048490,4052469,4055589,4056520,4057177,4057696,4060329,4060798,4061854,4062 531,4064696,406 '

選擇正確的方法

Python的平行處理技術因任務的特定情況而異。以下是一些指南，可幫助您做出明智的決策：

對於I/O密集型的活動，其中大部分執行時間都花在等待輸入/輸出操作上，多執行緒是合適的。它適用於下載檔案、使用API和操作檔案等任務。由於Python的全域解釋器鎖定（GIL），多執行緒可能無法顯著加快CPU密集型活動的速度。

另一方面，多進程適用於涉及密集運算的CPU綁定任務。它透過利用多個進程，每個進程都有自己的記憶體空間，繞過了GIL的限制，實現真正的並行性。然而，它在記憶體消耗和進程間通訊方面會產生額外的開銷。

對於涉及網路操作的 I/O 密集型活動，使用 asyncio 等程式庫執行的非同步程式設計非常有用。它利用非阻塞 I/O 操作，以便作業可以繼續進行，而不必等待每個操作完成。此方法有效管理多個並發連接，使其適用於網頁伺服器開發、Web API 互動和網頁抓取。非同步編程最大限度地減少了 I/O 操作的等待時間，確保了響應能力和可擴展性。

結論

Python 的平行處理能力為提高需要複雜計算的任務的效率提供了機會。無論您選擇使用多執行緒、多處理或非同步編程，Python 都提供了必要的工具和模組來有效利用並發性。透過理解活動的性質並選擇適當的技術，您可以最大限度地發揮並行處理的優勢並縮短執行時間。因此，繼續探索並充分利用 Python 的並行性來創建更快、更有效率的應用程式。

以上是在Python中的平行處理的詳細內容。更多資訊請關注PHP中文網其他相關文章！

陳述

本文轉載於：tutorialspoint。如有侵權，請聯絡admin@php.cn刪除

Python的科學計算中如何使用陣列？Apr 25, 2025 am 12:28 AM

Arraysinpython，尤其是Vianumpy，ArecrucialInsCientificComputingfortheireftheireffertheireffertheirefferthe.1）Heasuedfornumerericalicerationalation，dataAnalysis和Machinelearning.2）Numpy'Simpy'Simpy'simplementIncressionSressirestrionsfasteroperoperoperationspasterationspasterationspasterationspasterationspasterationsthanpythonlists.3）inthanypythonlists.3）andAreseNableAblequick

您如何處理同一系統上的不同Python版本？Apr 25, 2025 am 12:24 AM

你可以通過使用pyenv、venv和Anaconda來管理不同的Python版本。 1）使用pyenv管理多個Python版本：安裝pyenv，設置全局和本地版本。 2）使用venv創建虛擬環境以隔離項目依賴。 3）使用Anaconda管理數據科學項目中的Python版本。 4）保留系統Python用於系統級任務。通過這些工具和策略，你可以有效地管理不同版本的Python，確保項目順利運行。

與標準Python陣列相比，使用Numpy數組的一些優點是什麼？Apr 25, 2025 am 12:21 AM

numpyarrayshaveseveraladagesoverandastardandpythonarrays：1）基於基於duetoc的iMplation，2）2）他們的aremoremoremorymorymoremorymoremorymoremorymoremoremory，尤其是WithlargedAtasets和3）效率化，效率化，矢量化函數函數函數函數構成和穩定性構成和穩定性的操作，製造

陣列的同質性質如何影響性能？Apr 25, 2025 am 12:13 AM

數組的同質性對性能的影響是雙重的：1)同質性允許編譯器優化內存訪問，提高性能；2)但限制了類型多樣性，可能導致效率低下。總之，選擇合適的數據結構至關重要。

編寫可執行python腳本的最佳實踐是什麼？Apr 25, 2025 am 12:11 AM

到CraftCraftExecutablePythcripts，lollow TheSebestPractices：1）Addashebangline（＃！/usr/usr/bin/envpython3）tomakethescriptexecutable.2）setpermissionswithchmodwithchmod xyour_script.3）

Numpy數組與使用數組模塊創建的數組有何不同？Apr 24, 2025 pm 03:53 PM

numpyArraysareAreBetterFornumericalialoperations andmulti-demensionaldata，而learthearrayModuleSutableforbasic，內存效率段

Numpy數組的使用與使用Python中的數組模塊陣列相比如何？Apr 24, 2025 pm 03:49 PM

numpyArraySareAreBetterForHeAvyNumericalComputing，而lelethearRayModulesiutable-usemoblemory-connerage-inderabledsswithSimpleDatateTypes.1）NumpyArsofferVerverVerverVerverVersAtility andPerformanceForlargedForlargedAtatasetSetsAtsAndAtasEndCompleXoper.2）

CTYPES模塊與Python中的數組有何關係？Apr 24, 2025 pm 03:45 PM

ctypesallowscreatingingangandmanipulatingc-stylarraysinpython.1）usectypestoInterfacewithClibrariesForperfermance.2）createc-stylec-stylec-stylarraysfornumericalcomputations.3）passarraystocfunctions foreforfunctionsforeffortions.however.however，However，HoweverofiousofmemoryManageManiverage，Pressiveo，Pressivero

See all articles