Python peut-il faire du calcul parallèle ?

Python peut effectuer des calculs parallèles. Ce qui suit est l'introduction pertinente :

<.> 1. Présentation

Parallel Python est un module python qui fournit un mécanisme d'exécution parallèle du code python sur SMP (systèmes avec plusieurs processeurs ou multicœurs) et clusters (ordinateurs connectés via un réseau ). Il est léger, facile à installer et à intégrer à d’autres logiciels Python. Parallel Python est un module open source et multiplateforme écrit en Python pur.

2. Caractéristiques

Exécuter du code python en parallèle sur SMP et des clusters

Technologie de parallélisation basée sur les tâches facile à comprendre et à mettre en œuvre (facile à convertir des applications série en parallèle)

Détecter automatiquement la configuration optimale (le nombre de processus de travail est défini par défaut sur le nombre effectif de processeurs)

Allocation dynamique des processeurs (le nombre de processus de travail peut être modifié au moment de l'exécution)

Faible surcharge pour les tâches suivantes avec la même fonctionnalité (implémentez une mise en cache transparente pour réduire la surcharge)

Équilibrage de charge dynamique (les tâches sont réparties entre les processeurs au fur et à mesure de leur exécution)

Tolérance aux pannes (en cas de défaillance du nœud , les tâches sont replanifiées sur d'autres nœuds)

Découverte automatique des ressources informatiques

Allocation dynamique des ressources informatiques (résultat de la découverte automatique et de la tolérance aux pannes)

Connexion réseau SHA- authentification basée sur l'authentification

Portabilité et interopérabilité multiplateforme (Windows, Linux, Unix, Mac OS X)

Portabilité et interopérabilité multiplateforme (x86, x86 -64, etc.)

Open source

Recommandations associées : "

Tutoriel vidéo Python"

Motivation

De nos jours, les logiciels sont écrits. en python est utilisé dans de nombreuses applications, notamment la logique métier, l'analyse de données et le calcul scientifique. Ceci, combiné à la large disponibilité d'ordinateurs SMP (multiprocesseurs ou multicœurs) et de clusters (ordinateurs connectés via un réseau) sur le marché, crée un besoin d'exécution parallèle du code python.

La manière la plus simple et la plus courante d'écrire des applications parallèles pour les ordinateurs SMP consiste à utiliser des threads. Cependant, si l'application est liée informatiquement à l'aide de threads ou que le module python threadé ne permettra pas d'exécuter le bytecode python en parallèle. La raison en est que l'interpréteur Python utilise le GIL (Global Interpreter Lock) pour la comptabilité interne. Ce verrou permet d'exécuter une seule instruction de bytecode Python à la fois, même sur les machines SMP.

Le module PP surmonte cette limitation et fournit un moyen simple d'écrire des applications Python parallèles. En interne, ppsmp utilise des processus et IPC (Inter-Process Communication) pour organiser des calculs parallèles. Tous les détails et complexités de cette dernière sont entièrement pris en charge, l'application soumet simplement le travail et récupère ses résultats (le moyen le plus simple d'écrire des applications parallèles).

Pour rendre les choses encore meilleures, les logiciels écrits en PP fonctionnent en parallèle, même sur de nombreux ordinateurs connectés via un réseau local ou Internet. La portabilité multiplateforme et l'équilibrage de charge dynamique permettent à PP de paralléliser efficacement le calcul, même sur des clusters hétérogènes et multiplateformes.

4. Installation

N'importe quelle plateforme : téléchargez l'archive du module et extrayez-la dans un répertoire local. Exécutez le script d'installation : python setup.py install

Windows : Téléchargez et exécutez le binaire du programme d'installation de Windows.

5. Exemple

import math, sys, time
import pp
def isprime(n):
    """Returns True if n is prime and False otherwise"""
    if not isinstance(n, int):
        raise TypeError("argument passed to is_prime is not of 'int' type")
    if n < 2:
        return False
    if n == 2:
        return True
    max = int(math.ceil(math.sqrt(n)))
    i = 2
    while i <= max:
        if n % i == 0:
            return False
        i += 1
    return True
def sum_primes(n):
    """Calculates sum of all primes below given integer n"""
    return sum([x for x in xrange(2,n) if isprime(x)])
print """Usage: python sum_primes.py [ncpus]
    [ncpus] - the number of workers to run in parallel, 
    if omitted it will be set to the number of processors in the system
"""
# tuple of all parallel python servers to connect with
ppservers = ()
#ppservers = ("10.0.0.1",)
if len(sys.argv) > 1:
    ncpus = int(sys.argv[1])
    # Creates jobserver with ncpus workers
    job_server = pp.Server(ncpus, ppservers=ppservers)
else:
    # Creates jobserver with automatically detected number of workers
    job_server = pp.Server(ppservers=ppservers)
print "Starting pp with", job_server.get_ncpus(), "workers"
# Submit a job of calulating sum_primes(100) for execution. 
# sum_primes - the function
# (100,) - tuple with arguments for sum_primes
# (isprime,) - tuple with functions on which function sum_primes depends
# ("math",) - tuple with module names which must be imported before sum_primes execution
# Execution starts as soon as one of the workers will become available
job1 = job_server.submit(sum_primes, (100,), (isprime,), ("math",))
# Retrieves the result calculated by job1
# The value of job1() is the same as sum_primes(100)
# If the job has not been finished yet, execution will wait here until result is available
result = job1()
print "Sum of primes below 100 is", result
start_time = time.time()
# The following submits 8 jobs and then retrieves the results
inputs = (100000, 100100, 100200, 100300, 100400, 100500, 100600, 100700)
jobs = [(input, job_server.submit(sum_primes,(input,), (isprime,), ("math",))) for input in inputs]
for input, job in jobs:
    print "Sum of primes below", input, "is", job()
print "Time elapsed: ", time.time() - start_time, "s"
job_server.print_stats()

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!