Pythonで並列計算はできるのでしょうか？

#Python は並列コンピューティングを行うことができます。関連する概要は次のとおりです:

1. 概要

Parallel Python は、SMP (複数のプロセッサまたはマルチコアを備えたシステム) およびクラスター (ネットワークを介して接続されたコンピューター) 上で Python コードを並列実行するメカニズムを提供する Python モジュールです。 ）。軽量で、インストールや他の Python ソフトウェアとの統合が簡単です。 Parallel Python は、純粋な Python で書かれたオープンソースのクロスプラットフォーム モジュールです。

2. 特徴

SMP とクラスター上で Python コードを並列実行

理解しやすく実装しやすいジョブベースの並列化技術 (シリアル アプリケーションの並列変換が容易)

最適な構成の自動検出 (ワーカー プロセスの数はデフォルトで有効なプロセッサの数に設定されます)

動的プロセッサの割り当て (ワーカー プロセスの数は実行時に変更可能)

同じ機能を持つ後続のジョブのオーバーヘッドが低い (オーバーヘッドを削減するために透過的なキャッシュを実装します)

動的負荷分散 (ジョブは実行中にプロセッサー間で分散されます)

フォールト トレランス (いずれかのノードの場合)障害が発生した場合、タスクは他のノードで再スケジュールされます)

コンピューティング リソースの自動検出

コンピューティング リソースの動的な割り当て (自動検出とフォールト トレランスの結果)

ネットワーク接続 SHAベースの認証

クロスプラットフォームの移植性と相互運用性 (Windows、Linux、Unix、Mac OS X)

クロスアーキテクチャの移植性と相互運用性 (x86、x86 -64 など)

オープンソース

関連する推奨事項: 「

Python ビデオ チュートリアル」

3. 動機

現在、ソフトウェアは書かれていますPython では、ビジネス ロジック、データ分析、科学計算などの多くのアプリケーションで使用されます。これに加えて、SMP コンピューター (マルチプロセッサーまたはマルチコア) およびクラスター (ネットワーク経由で接続されたコンピューター) が市場で広く入手可能になったことにより、Python コードの並列実行の必要性が生じています。

SMP コンピューター用の並列アプリケーションを作成する最も簡単かつ一般的な方法は、スレッドを使用することです。ただし、アプリケーションがスレッドを使用して計算的にバインドされている場合、またはスレッド化された Python モジュールでは Python バイトコードの並列実行が許可されません。その理由は、Python インタープリターが内部アカウンティングに GIL (Global Interpreter Lock) を使用しているためです。このロックにより、SMP マシンであっても、一度に実行できる Python バイトコード命令は 1 つだけになります。

PP モジュールはこの制限を克服し、並列 Python アプリケーションを作成する簡単な方法を提供します。 ppsmp は内部的にプロセスと IPC (プロセス間通信) を使用して並列計算を組織します。後者の詳細と複雑さはすべて完全に処理され、アプリケーションはジョブを送信してその結果を取得するだけです (並列アプリケーションを作成する最も簡単な方法)。

さらに良いことに、PP で書かれたソフトウェアは、ローカル ネットワークやインターネットを介して接続された多数のコンピュータ上でも並行して動作します。クロスプラットフォームの移植性と動的な負荷分散により、PP は異種混合のマルチプラットフォーム クラスター上でもコンピューティングを効率的に並列化できます。

4. インストール

任意のプラットフォーム: モジュール アーカイブをダウンロードし、ローカル ディレクトリに抽出します。インストール スクリプトを実行します: python setup.py install

Windows: Windows インストーラー バイナリをダウンロードして実行します。

5.例

import math, sys, time
import pp
def isprime(n):
    """Returns True if n is prime and False otherwise"""
    if not isinstance(n, int):
        raise TypeError("argument passed to is_prime is not of 'int' type")
    if n < 2:
        return False
    if n == 2:
        return True
    max = int(math.ceil(math.sqrt(n)))
    i = 2
    while i <= max:
        if n % i == 0:
            return False
        i += 1
    return True
def sum_primes(n):
    """Calculates sum of all primes below given integer n"""
    return sum([x for x in xrange(2,n) if isprime(x)])
print """Usage: python sum_primes.py [ncpus]
    [ncpus] - the number of workers to run in parallel, 
    if omitted it will be set to the number of processors in the system
"""
# tuple of all parallel python servers to connect with
ppservers = ()
#ppservers = ("10.0.0.1",)
if len(sys.argv) > 1:
    ncpus = int(sys.argv[1])
    # Creates jobserver with ncpus workers
    job_server = pp.Server(ncpus, ppservers=ppservers)
else:
    # Creates jobserver with automatically detected number of workers
    job_server = pp.Server(ppservers=ppservers)
print "Starting pp with", job_server.get_ncpus(), "workers"
# Submit a job of calulating sum_primes(100) for execution. 
# sum_primes - the function
# (100,) - tuple with arguments for sum_primes
# (isprime,) - tuple with functions on which function sum_primes depends
# ("math",) - tuple with module names which must be imported before sum_primes execution
# Execution starts as soon as one of the workers will become available
job1 = job_server.submit(sum_primes, (100,), (isprime,), ("math",))
# Retrieves the result calculated by job1
# The value of job1() is the same as sum_primes(100)
# If the job has not been finished yet, execution will wait here until result is available
result = job1()
print "Sum of primes below 100 is", result
start_time = time.time()
# The following submits 8 jobs and then retrieves the results
inputs = (100000, 100100, 100200, 100300, 100400, 100500, 100600, 100700)
jobs = [(input, job_server.submit(sum_primes,(input,), (isprime,), ("math",))) for input in inputs]
for input, job in jobs:
    print "Sum of primes below", input, "is", job()
print "Time elapsed: ", time.time() - start_time, "s"
job_server.print_stats()

以上がPythonで並列計算はできるのでしょうか？の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。