파이썬이 병렬 컴퓨팅을 할 수 있나요?

Python은 병렬 계산을 수행할 수 있습니다. # 🎜🎜 #

1. 개요

Parallel Python은 SMP(여러 프로세서 또는 다중 코어가 있는 시스템)에서 제공되는 Python 모듈입니다. 클러스터(네트워크를 통해 연결된 컴퓨터)에서 Python 코드를 병렬로 실행하기 위한 메커니즘입니다. 가볍고 설치가 쉽고 다른 Python 소프트웨어와 통합됩니다. 병렬 Python은 순수 Python으로 작성된 오픈 소스 및 크로스 플랫폼 모듈입니다.

2. 기능

SMP 및 클러스터에서 Python 코드를 병렬로 실행

이해하기 쉽고 구현하기 쉬운 작업 기반 병렬화 기술(병렬화 용이) 변환 직렬 애플리케이션)

최적 구성 자동 감지(작업자 프로세스 수는 기본적으로 유효 프로세서 수로 설정됨)

동적 프로세서 할당(작업자 프로세스 수는 런타임 변경 시 설정)

동일한 기능을 가진 후속 작업에 대한 낮은 오버헤드(오버헤드를 줄이기 위해 투명 캐싱이 구현됨)

동적 로드 밸런싱(런타임 시 작업이 프로세서 간에 이동) 배포)

내결함성(노드 중 하나가 실패하면 작업이 다른 노드에서 다시 예약됨)

컴퓨팅 리소스 자동 검색

Computing Dynamic 리소스 할당(자동 검색 및 내결함성 결과), Mac OS 《

python video tutorial

》

3. 동기 부여

#🎜🎜 #

요즘 Python으로 작성된 소프트웨어는 비즈니스 로직, 데이터 분석, 과학 컴퓨팅 등 다양한 응용 프로그램에서 사용됩니다. 이는 시장에서 SMP 컴퓨터(멀티 프로세서 또는 멀티 코어) 및 클러스터(네트워크를 통해 연결된 컴퓨터)의 광범위한 가용성과 함께 Python 코드의 병렬 실행에 대한 필요성을 만듭니다.

SMP 컴퓨터용 병렬 애플리케이션을 작성하는 가장 간단하고 일반적인 방법은 스레드를 사용하는 것입니다. 그러나 애플리케이션이 스레드를 사용하여 계산적으로 바인딩되거나 스레드된 Python 모듈은 Python 바이트코드를 병렬로 실행하는 것을 허용하지 않습니다. 그 이유는 Python 인터프리터가 내부 회계를 위해 GIL(Global Interpreter Lock)을 사용하기 때문입니다. 이 잠금을 사용하면 SMP 컴퓨터에서도 한 번에 하나의 Python 바이트코드 명령만 실행할 수 있습니다.

PP 모듈은 이러한 제한을 극복하고 병렬 Python 애플리케이션을 작성하는 간단한 방법을 제공합니다. 내부적으로 ppsmp는 프로세스와 IPC(프로세스 간 통신)를 사용하여 병렬 계산을 구성합니다. 후자의 모든 세부 사항과 복잡성은 완전히 처리되며 애플리케이션은 작업을 제출하고 그 결과를 검색합니다(병렬 애플리케이션을 작성하는 가장 간단한 방법). ​더 나은 점을 위해 PP로 작성된 소프트웨어는 로컬 네트워크나 인터넷을 통해 연결된 많은 컴퓨터에서도 병렬로 작동합니다. 플랫폼 간 이식성과 동적 로드 밸런싱을 통해 PP는 이기종 및 다중 플랫폼 클러스터에서도 컴퓨팅을 효율적으로 병렬화할 수 있습니다.

4. 설치

모든 ​​플랫폼: 모듈 아카이브를 다운로드하고 로컬 디렉터리에 추출합니다. 설치 스크립트 실행: python setup.py install

Windows: Windows 설치 프로그램 바이너리를 다운로드하고 실행합니다.

5. 예시

import math, sys, time
import pp
def isprime(n):
    """Returns True if n is prime and False otherwise"""
    if not isinstance(n, int):
        raise TypeError("argument passed to is_prime is not of 'int' type")
    if n < 2:
        return False
    if n == 2:
        return True
    max = int(math.ceil(math.sqrt(n)))
    i = 2
    while i <= max:
        if n % i == 0:
            return False
        i += 1
    return True
def sum_primes(n):
    """Calculates sum of all primes below given integer n"""
    return sum([x for x in xrange(2,n) if isprime(x)])
print """Usage: python sum_primes.py [ncpus]
    [ncpus] - the number of workers to run in parallel, 
    if omitted it will be set to the number of processors in the system
"""
# tuple of all parallel python servers to connect with
ppservers = ()
#ppservers = ("10.0.0.1",)
if len(sys.argv) > 1:
    ncpus = int(sys.argv[1])
    # Creates jobserver with ncpus workers
    job_server = pp.Server(ncpus, ppservers=ppservers)
else:
    # Creates jobserver with automatically detected number of workers
    job_server = pp.Server(ppservers=ppservers)
print "Starting pp with", job_server.get_ncpus(), "workers"
# Submit a job of calulating sum_primes(100) for execution. 
# sum_primes - the function
# (100,) - tuple with arguments for sum_primes
# (isprime,) - tuple with functions on which function sum_primes depends
# ("math",) - tuple with module names which must be imported before sum_primes execution
# Execution starts as soon as one of the workers will become available
job1 = job_server.submit(sum_primes, (100,), (isprime,), ("math",))
# Retrieves the result calculated by job1
# The value of job1() is the same as sum_primes(100)
# If the job has not been finished yet, execution will wait here until result is available
result = job1()
print "Sum of primes below 100 is", result
start_time = time.time()
# The following submits 8 jobs and then retrieves the results
inputs = (100000, 100100, 100200, 100300, 100400, 100500, 100600, 100700)
jobs = [(input, job_server.submit(sum_primes,(input,), (isprime,), ("math",))) for input in inputs]
for input, job in jobs:
    print "Sum of primes below", input, "is", job()
print "Time elapsed: ", time.time() - start_time, "s"
job_server.print_stats()

위 내용은 파이썬이 병렬 컴퓨팅을 할 수 있나요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!