Parallelverarbeitung in Python

Einführung

In der heutigen schnelllebigen digitalen Umgebung ist es für Entwickler und Datenwissenschaftler von entscheidender Bedeutung, rechentechnisch schwierige Aufgaben effizient zu erledigen. Glücklicherweise bietet Python aufgrund seiner Anpassungsfähigkeit und seines breiten Ökosystems leistungsstarke Parallelverarbeitungsfunktionen. Wir können erhebliche Leistungssteigerungen erzielen, indem wir schwierige Probleme in kleinere, besser überschaubare Aktivitäten zerlegen und gleichzeitig daran arbeiten.

Pythons Parallelverarbeitungsfunktionen ermöglichen es uns, verfügbare Computerressourcen zu nutzen, um Aktivitäten wie Web Scraping, wissenschaftliche Simulationen und Datenanalyse schneller und effizienter durchzuführen. In diesem Artikel beginnen wir eine Reise durch die Parallelverarbeitung in Python. Wir untersuchen eine Reihe von Methoden, darunter Multiprocessing, asynchrone Programmierung und Multithreading, und erfahren, wie Sie diese effektiv nutzen können, um Leistungshindernisse in Ihrem System zu umgehen. Begleiten Sie uns, wenn wir die volle Leistungsfähigkeit der Parallelverarbeitung in Python ausschöpfen und neue Leistungs- und Produktivitätshöhen erreichen.

Erfahren Sie mehr über Parallelverarbeitung

Das Aufteilen eines Jobs in kleinere Teilaufgaben und deren gleichzeitige Ausführung auf mehreren Prozessoren oder Kernen wird als Parallelverarbeitung bezeichnet. Durch die Parallelverarbeitung kann die Gesamtausführungszeit eines Programms erheblich verkürzt werden, indem die verfügbaren Rechenressourcen effizient genutzt werden. Asynchrone Programmierung, Multiprocessing und Multithreading sind nur einige der parallelen Verarbeitungsmethoden, die Python bietet.

Multiple Threading in Python

Bei der Multithreading-Methode laufen viele Threads gleichzeitig im selben Prozess und teilen sich den gleichen Speicher. Multithreading kann einfach mit dem Threading-Modul von Python implementiert werden. Die Verwendung von Multithreading in Python hat jedoch möglicherweise keine Beschleunigungswirkung auf CPU-intensive Vorgänge, da die Global Interpreter Lock (GIL) nur einem Thread die gleichzeitige Ausführung von Python-Bytecode zulässt. Multithreading kann jedoch für E/A-intensive Aufgaben nützlich sein, da es Threads ermöglicht, andere Vorgänge auszuführen, während sie auf den Abschluss von E/A-Vorgängen warten.

Sehen wir uns ein Beispiel für die Verwendung von Multithreading zum Herunterladen mehrerer Webseiten an:

Beispiel

import threading import requests 
 
def download_page(url): 
    response = requests.get(url)    
print(f"Downloaded {url}") 
 
urls = [ 
    "https://example.com", 
    "https://google.com", 
    "https://openai.com" 
] 
 
threads = [] 
 for url in 
 urls: 
    thread = threading.Thread(target=download_page,
args=(url,))     thread.start()    threads.append(thread) 
 
for thread in threads: 
    thread.join() 

Ausgabe

Downloaded https://example.com 
Downloaded https://google.com 
Downloaded https://openai.com 

Da das obige Code-Snippet mehrere Downloads gleichzeitig durchführen kann, lädt dieses Code-Snippet jede URL in einem eigenen Thread herunter. Die Funktion „join()“ stellt sicher, dass der Hauptthread auf den Abschluss jedes Threads wartet, bevor er fortfährt.

Multiprocessing in Python

Multi-Prozess entspricht Multi-Threading. Durch die Verwendung mehrerer Prozesse verfügt jeder Prozess über seinen eigenen Speicherplatz, was für echte Parallelität sorgt. Das Multiprocessing-Modul von Python bietet eine High-Level-Schnittstelle zur Implementierung mehrerer Prozesse. Multiprocessing eignet sich für CPU-intensive Aufgaben, da jeder Prozess in einem unabhängigen Python-Interpreter ausgeführt wird, wodurch GIL-Multithreading-Einschränkungen vermieden werden.

Im folgenden Code werden mehrere Prozesse verwendet. Sobald die Poolklasse eine Reihe von Arbeitsprozessen erzeugt hat, verteilt die Methode „map()“ die Last auf die verfügbaren Prozesse. Eine Ergebnisliste ist eine Sammlung von Ergebnissen.

Betrachten Sie das folgende Beispiel, in dem wir mehrere Prozesse verwenden, um das Quadrat jeder ganzen Zahl in einer Liste zu berechnen:

Beispiel

import multiprocessing 
 
def square(number):    
return number ** 2 
 
numbers = [1, 2, 3, 4, 5] 
 
with multiprocessing.Pool() as pool: 
    results = pool.map(square, numbers) 
 
print(results) 

Ausgabe

[1, 4, 9, 16, 25] 

Asynchrone Python-Programmierung

Durch die Nutzung nicht blockierender Vorgänge ermöglicht die asynchrone Programmierung die effiziente Ausführung E/A-intensiver Prozesse. Dank des asyncio-Pakets kann Python asynchronen Code mithilfe von Coroutinen, Ereignisschleifen und Futures erstellen. Da Online-Anwendungen und APIs immer beliebter werden, wird die asynchrone Programmierung immer wichtiger.

Die fetch_page()-Coroutine im folgenden Codebeispiel verwendet aiohttp, um Webseiten asynchron abzurufen. Die Methode main() generiert eine Liste von Jobs und verwendet dann asyncio.gather(), um diese Jobs gleichzeitig auszuführen. Um auf den Abschluss einer Aufgabe zu warten und die Ergebnisse zu erhalten, verwenden Sie das Schlüsselwort „await“.

Sehen wir uns ein Beispiel für das asynchrone Abrufen mehrerer Webseiten mit asyncio und aiohttp an:

Beispiel

import asyncio 
import aiohttp 
 
async def fetch_page(url):     async with aiohttp.ClientSession() as session:         async with session.get(url) as response: 
            return await response.text() 
 
async def main(): 
    urls = [ 
        "https://example.com", 
        "https://google.com", 
        "https://openai.com" 
    ] 
 
    tasks = [fetch_page(url) for url in urls]     pages = await asyncio.gather(*tasks)     
print(pages) 
 
asyncio.run(main()) 

Ausgabe

['<!doctype html>\n<html>\n<head>\n    <title>Example Domain</title>\n\n    <meta 
charset="utf-8" />\n    <meta http-equiv="Content-type"content="text/html; charset=utf-8" />\n    <meta name="viewport" content="width=device-width, initialscale=1" />\n    <style type="text/css">\n    body {\n        background-color: #f0f0f2;\n  margin: 0;\n        padding: 0;\n        font-family: "Open Sans", "Helvetica Neue", Helvetica, Arial, sans-serif;\n        \n    }\n    div {\n        width: 600px;\n        margin: 5em auto;\n  padding: 50px;\n        background-color: #fff;\n        border-radius: 1em;\n    }\n    a:link, a:visited {\n        color: #38488f;\n        text-decoration: none;\n    }\n    @media (maxwidth: 700px) {\n        body {\n            background-color: #fff;\n        }\n        div {\n  width: auto;\n            margin: 0 auto;\n            border-radius: 0;\n            padding: 1em;\n        }\n    }\n    </style>    \n</head>\n\n<body>\n<div>\n    <h1>Example Domain</h1>\n    <p>This domain is for use in illustrative examples in documents. You may use this\n    domain in literature without prior coordination or asking for permission.</p>\n    <p><a href="https://www.iana.org/domains/example">More information...</a></p>\n</div>\n</body>\n</html>', '<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="en"><head><meta content="Search the world's information, including webpages, images, videos and more. Google has many special features to help you find exactly what you're looking for." name="description"><meta content="noodp" name="robots"><meta content="text/html; charset=UTF-8" http-equiv="Content-Type"><meta content="/logos/doodles/2021/mom-
and-dad-6116550989716480.2-law.gif" itemprop="image"><link href="/logos/doodles/2021/mom-and-dad-6116550989716480.2-law.gif" rel="icon" type="image/gif"><title>Google</title><script nonce="sJwM0Ptp5a/whzxPtTD8Yw==">(function(){window.google={kEI:'cmKgYY37A7 K09QPhzKuACw',kEXPI:'1354557,1354612,1354620,1354954,1355090,1355493,13556
83,3700267,4029815,4031109,4032677,4036527,4038022,4043492,4045841,4048347,4
048490,4052469,4055589,4056520,4057177,4057696,4060329,4060798,4061854,4062 531,4064696,406 '

Wählen Sie die richtige Methode

Pythons Parallelverarbeitungstechniken variieren je nach den spezifischen Umständen der Aufgabe. Hier sind einige Richtlinien, die Ihnen helfen sollen, fundierte Entscheidungen zu treffen:

Für I/O-intensive Aktivitäten, bei denen die meiste Ausführungszeit damit verbracht wird, auf Eingabe-/Ausgabevorgänge zu warten, ist Multithreading geeignet. Es eignet sich für Aufgaben wie das Herunterladen von Dateien, die Verwendung von APIs und die Bearbeitung von Dateien. Aufgrund des Global Interpreter Lock (GIL) von Python beschleunigt Multithreading CPU-intensive Aktivitäten möglicherweise nicht wesentlich.

Andererseits eignet sich Multi-Processing für CPU-gebundene Aufgaben mit intensiven Berechnungen. Es erreicht echte Parallelität, indem es mehrere Prozesse nutzt, von denen jeder seinen eigenen Speicherplatz hat, und die Einschränkungen der GIL umgeht. Es verursacht jedoch zusätzlichen Overhead in Bezug auf Speicherverbrauch und Kommunikation zwischen Prozessen.

Asynchrone Programmierung mithilfe von Bibliotheken wie Asyncio ist nützlich für E/A-intensive Aktivitäten im Zusammenhang mit Netzwerkvorgängen. Es nutzt nicht blockierende E/A-Operationen, sodass Jobs fortgesetzt werden können, ohne auf den Abschluss jeder Operation warten zu müssen. Dieser Ansatz verwaltet effizient mehrere gleichzeitige Verbindungen und eignet sich daher für die Webserverentwicklung, Web-API-Interaktionen und Web-Scraping. Asynchrone Programmierung minimiert Wartezeiten für E/A-Vorgänge und gewährleistet so Reaktionsfähigkeit und Skalierbarkeit.

Fazit

Pythons Parallelverarbeitungsfunktionen bieten Möglichkeiten zur Steigerung der Effizienz bei Aufgaben, die komplexe Berechnungen erfordern. Unabhängig davon, ob Sie sich für Multithreading, Multiprocessing oder asynchrone Programmierung entscheiden, stellt Python die notwendigen Tools und Module bereit, um die Vorteile der Parallelität effektiv zu nutzen. Indem Sie die Art der Aktivität verstehen und die geeignete Technologie auswählen, können Sie die Vorteile der Parallelverarbeitung maximieren und die Ausführungszeit verkürzen. Erkunden Sie also weiterhin die Parallelität von Python und nutzen Sie sie voll aus, um schnellere und effizientere Anwendungen zu erstellen.

Das obige ist der detaillierte Inhalt vonParallelverarbeitung in Python. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!