파이썬 다중 프로세싱 및 병렬 프로그래밍에 대한 안내서

속도를 높이는 것은 모든 사람이 달성하고자하는 목표입니다. 현재 실행 시간보다 10 배 더 빠르게 실행할 수있는 스크립트가 있다면 어떨까요? 이 기사에서는 Python Multiprocessing 및 Multiprocessing이라는 라이브러리를 살펴 보겠습니다. 평행 프로그래밍을 사용하여 멀티 프로세싱이 무엇인지, 장점 및 파이썬 프로그램의 실행 시간을 개선하는 방법에 대해 이야기 할 것입니다. 알았어, 가자! 키 테이크 아웃

병렬 컴퓨팅은 CPU의 여러 코어를 동시에 사용하여 계산 속도를 높이는 방법입니다. 이것은 다중 프로세스를 생성 할 수있는 모듈 인 멀티 프로세싱을 통해 파이썬에서 달성 될 수 있으며 각각 별도의 코어에서 실행됩니다. Python의 멀티 프로세싱 모듈은 집약적 인 작업을위한 CPU 사용 향상, 스레드에 비해 하위 프로세스에 대한 더 많은 제어 및 병렬 프로그래밍에 적합한 작업에 대한 쉬운 구현과 같은 이점을 제공합니다.

파이썬 멀티 프로세싱이 직렬 컴퓨팅보다 항상 더 효율적인 것은 아닙니다. 낮은 CPU 집약적 인 작업의 경우 프로세스 간 계산을 분할하여 소개 된 오버 헤드로 인해 직렬 계산이 더 빠를 수 있습니다. 파이썬의 멀티 프로세싱 모듈은 동시에 실행 해야하는 각 작업에 대한 새로운 프로세스를 만듭니다. 각 프로세스에는 자체 Python 통역사 및 메모리 공간이있어 다른 프로세스와 독립적으로 실행할 수 있습니다. 파이썬의 멀티 프로세싱은 프로그램의 속도와 효율성을 크게 향상시킬 수 있지만 코드의 복잡성도 증가합니다. 모든 작업이 병렬화에 적합한 것은 아니며, 경우에 따라 여러 프로세스를 작성하고 관리하는 오버 헤드가 잠재적 성능 이득보다 더 중요 할 수 있습니다.

.

병렬성 소개 파이썬 코드로 뛰어 들기 전에 컴퓨터 과학에서 중요한 개념 인 병렬 컴퓨팅에 대해 이야기해야합니다. 일반적으로 파이썬 스크립트를 실행하면 어느 시점에서 코드가 프로세스가되고 프로세스는 CPU의 단일 코어에서 실행됩니다. 그러나 최신 컴퓨터에는 하나 이상의 핵심이 있으므로 컴퓨터에 더 많은 코어를 사용할 수 있다면 어떨까요? 계산이 더 빨라질 것입니다.

지금은 이것을 일반적인 원칙으로 봅시다. 그러나 나중에이 기사에서는 이것이 보편적으로 사실이 아니라는 것을 알 수있다. 너무 많은 세부 사항에 들어 가지 않고 병렬 처리의 배후에있는 아이디어는 CPU의 여러 코어를 사용할 수있는 방식으로 코드를 작성하는 것입니다. 일을 더 쉽게 만들려면 예를 살펴 보겠습니다. 평행 및 직렬 컴퓨팅 해결해야 할 큰 문제가 있다고 상상해보십시오. 8 개의 다른 숫자의 제곱근을 계산해야합니다. 당신은 무엇을합니까? 글쎄, 당신은 옵션이 많지 않습니다. 첫 번째 숫자로 시작하고 결과를 계산합니다. 그런 다음 다른 사람들과 계속됩니다.

세 명의 친구가 당신을 기꺼이 도와 줄 수학에 좋은 3 명의 친구가 있다면 어떻게해야합니까? 그들 각각은 두 개의 숫자의 제곱근을 계산하며, 작업량이 친구들 사이에 똑같이 분포되므로 작업이 쉬워집니다. 이것은 당신의 문제가 더 빨리 해결 될 것임을 의미합니다.

알았어, 정말 분명 해요? 이 예에서 각 친구는 CPU의 핵심을 나타냅니다. 첫 번째 예에서는 전체 작업이 귀하가 순차적으로 해결됩니다. 이것을 직렬 컴퓨팅이라고합니다. 두 번째 예에서는 총 4 개의 코어로 작업하기 때문에 병렬 컴퓨팅을 사용하고 있습니다. 병렬 컴퓨팅에는 프로세서의 여러 코어로 나뉘어져있는 병렬 프로세스 또는 프로세스의 사용이 포함됩니다.

병렬 프로그래밍을위한 모델 우리는 어떤 병렬 프로그래밍이 있는지 설정했지만 어떻게 사용합니까? 글쎄, 우리는 병렬 컴퓨팅에는 프로세서의 여러 코어들 사이에서 여러 작업을 실행하는 것이 포함되기 전에 해당 작업이 동시에 실행된다고 말했습니다. 병렬화에 접근하기 전에 고려해야 할 몇 가지 질문이 있습니다. 예를 들어, 계산 속도를 높일 수있는 다른 최적화가 있습니까?

현재로서는 병렬화가 가장 좋은 솔루션이라고 당연한 것으로 여깁니다. 병렬 컴퓨팅에는 주로 세 가지 모델이 있습니다 :

<.> 완벽하게 평행합니다. 작업은 독립적으로 실행될 수 있으며 서로 의사 소통 할 필요가 없습니다. 공유 메모리 병렬 처리. 프로세스 (또는 스레드)가 통신해야하므로 전역 주소 공간을 공유해야합니다.

메시지 전달. 프로세스는 필요할 때 메시지를 공유해야합니다

이 기사에서는 첫 번째 모델을 설명합니다. 가장 단순한 모델도 설명합니다. Python Multiprocessing : Python의 프로세스 기반 병렬 처리 Python에서 병렬 처리를 달성하는 한 가지 방법은 멀티 프로세싱 모듈을 사용하는 것입니다. 멀티 프로세싱 모듈을 사용하면 자체 Python 통역사로 여러 프로세스를 만들 수 있습니다. 이러한 이유로 Python Multiprocessing은 프로세스 기반 병렬 처리를 달성합니다 당신은 파이썬으로 내장 된 스레딩과 같은 다른 라이브러리에 대해 들어 보았을 것입니다. 그러나 그들 사이에는 중요한 차이가 있습니다. 멀티 프로세싱 모듈은 새로운 프로세스를 생성하고 스레딩은 새 스레드를 만듭니다.

다음 섹션에서는 멀티 프로세싱 사용의 장점을 살펴 보겠습니다. 멀티 프로세싱 사용 다중 프로세싱의 몇 가지 이점은 다음과 같습니다

높은 CPU 집약적 인 작업을 처리 할 때 CPU의 더 나은 사용량 실에 비해 어린이에 대한 더 많은 통제 코드가 쉽게 코딩 할 수 있습니다 첫 번째 장점은 성능과 관련이 있습니다. 멀티 프로세싱은 새로운 프로세스를 생성하기 때문에 작업을 다른 코어로 나누어 CPU의 계산 능력을 훨씬 더 잘 활용할 수 있습니다. 대부분의 프로세서는 요즘 멀티 코어 프로세서이며 코드를 최적화하면 계산을 동시에 해결하여 시간을 절약 할 수 있습니다. 두 번째 이점은 멀티 스레딩 인 멀티 프로세싱에 대한 대안을 살펴 봅니다. 스레드는 프로세스가 아니며 결과가 발생합니다. 스레드를 만들면 스레드를 죽이거나 일반 프로세스와 마찬가지로 방해하는 것이 위험합니다. 멀티 프로세싱과 멀티 스레딩의 비교는이 기사의 범위에 있지 않기 때문에 더 자세한 내용을 읽어 보시기 바랍니다.
• 멀티 프로세싱의 세 번째 장점은 처리하려는 작업이 병렬 프로그래밍에 적합하다는 점을 감안할 때 구현하기가 매우 쉽다는 것입니다.

  Python Multiprocessing을 시작하기

우리는 마침내 파이썬 코드를 쓸 준비가되었습니다! 우리는 매우 기본적인 예로 시작하여이를 사용하여 Python Multiprocessing의 핵심 측면을 설명합니다. 이 예에서는 두 가지 프로세스가 있습니다 :
<.> 부모 과정. 부모 과정은 하나 뿐이며 여러 자녀를 가질 수 있습니다.

<.> 아동 과정. 이것은 부모가 생성합니다. 각 어린이는 또한 새로운 자녀를 가질 수 있습니다.

우리는 어린이 프로세스를 사용하여 특정 기능을 실행합니다. 이런 식으로 부모는 실행을 계속할 수 있습니다.

간단한 파이썬 멀티 프로세싱 예 이 예제에 사용할 코드는 다음과 같습니다

이 스 니펫에서는 Bubble_Sort (Array)라는 함수를 정의했습니다. 이 기능은 버블 정렬 분류 알고리즘의 정말 순진한 구현입니다. 그것이 무엇인지 모른다면 그렇게 중요하지 않기 때문에 걱정하지 마십시오. 알아야 할 중요한 점은 그것이 일을하는 기능이라는 것입니다.

프로세스 클래스 멀티 프로세싱에서 클래스 프로세스를 가져옵니다. 이 클래스는 별도의 프로세스에서 실행되는 활동을 나타냅니다. 실제로, 당신은 우리가 몇 가지 논쟁을 통과했음을 알 수 있습니다 :

target = bubble_sort, 새로운 프로세스가 bubble_sort 함수를 실행한다는 것을 의미합니다. args = ([1,9,4,52,6,8,4],)는 대상 함수 에 인수로 전달 된 배열입니다.

프로세스 클래스에 인스턴스를 만든 후에는 프로세스 만 시작하면됩니다. 이것은 p.start ()를 작성하여 수행됩니다. 이 시점에서 프로세스가 시작됩니다.

우리가 종료하기 전에, 우리는 아동 과정이 계산을 완료 할 때까지 기다려야합니다. join () 메소드는 프로세스가 종료 될 때까지 기다립니다이 예에서는 하나의 아동 프로세스 만 만들었습니다. 당신이 추측 할 수 있듯이, 우리는 프로세스 클래스에서 더 많은 인스턴스를 만들어 더 많은 어린이 프로세스를 만들 수 있습니다.

. 풀 클래스 더 많은 CPU 집약적 인 작업을 처리하기 위해 여러 프로세스를 만들어야한다면 어떻게해야합니까? 우리는 항상 종료를 명시 적으로 시작하고 기다려야합니까? 여기서 해결책은 풀 클래스를 사용하는 것입니다.

풀 클래스를 사용하면 작업자 프로세스 풀을 만들 수 있으며 다음 예에서는 어떻게 사용할 수 있는지 살펴 봅니다. 이것이 우리의 새로운 예입니다 :

이 코드 스 니펫에는 정수를 가져 와서 제곱근을 반환하는 큐브 (x) 함수가 있습니다. 쉬운, 맞습니까? 그런 다음 속성을 지정하지 않고 풀 클래스의 인스턴스를 만듭니다. 풀 클래스는 기본적으로 CPU 코어 당 하나의 프로세스를 만듭니다. 다음으로, 우리는 몇 가지 인수로 맵 메소드를 실행합니다.

맵 메소드는 우리가 제공하는 반복 가능한 모든 요소에 큐브 함수를 적용합니다.이 경우 10에서 N의 모든 숫자 목록입니다. 이것의 큰 장점은 목록의 계산이 병렬로 이루어진다는 것입니다! 파이썬 멀티 프로세싱을 가장 잘 활용하는

여러 프로세스를 생성하고 병렬 계산을 수행하는 것이 직렬 컴퓨팅보다 반드시 더 효율적인 것은 아닙니다. 낮은 CPU 집약적 인 작업의 경우 직렬 계산이 병렬 계산보다 빠릅니다. 이러한 이유로, 당신이 수행하는 작업에 따라 다중 프로세싱을 사용해야하는시기를 이해하는 것이 중요합니다. 이것을 설득하려면 간단한 예를 살펴 보겠습니다.

이 스 니펫은 이전 예제를 기반으로합니다. 우리는 같은 문제를 해결하고 있는데,이 문제는 n 숫자의 제곱근을 계산하지만 두 가지 방법으로 계산합니다. 첫 번째는 Python Multiprocessing 사용과 관련이 있지만 두 번째는 그렇지 않습니다. 시간 라이브러리에서 Perf_counter () 메소드를 사용하여 시간 성능을 측정하고 있습니다. 내 노트북에서, 나는이 결과를 얻는다 :

보시다시피, 1 초 이상의 차이가 있습니다. 따라서이 경우 다중 프로세싱이 더 좋습니다.

N의 값과 같이 코드에서 무언가를 변경합시다. 이것은 내가 지금 얻는 것입니다 :

<span>from multiprocessing import Process
</span>
<span>def bubble_sort(array):
</span>    check <span>= True
</span>    <span>while check == True:
</span>      check <span>= False
</span>      <span>for i in range(0, len(array)-1):
</span>        <span>if array[i] > array[i+1]:
</span>          check <span>= True
</span>          temp <span>= array[i]
</span>          array<span>[i] = array[i+1]
</span>          array<span>[i+1] = temp
</span>    <span>print("Array sorted: ", array)
</span>
<span>if __name__ == '__main__':
</span>    p <span>= Process(target=bubble_sort, args=([1,9,4,5,2,6,8,4],))
</span>    p<span>.start()
</span>    p<span>.join()
</span>

무슨 일이야? 멀티 프로세싱은 이제 나쁜 선택 인 것 같습니다. 왜? <.> 프로세스 간 계산을 분할하여 도입 된 오버 헤드는 해결 된 작업과 비교할 때 너무 많습니다. 시간 성능 측면에서 얼마나 많은 차이가 있는지 알 수 있습니다.

결론 이 기사에서는 Python Multiprocessing을 사용하여 Python 코드의 성능 최적화에 대해 이야기했습니다. 먼저, 우리는 병렬 컴퓨팅이 무엇인지 간략하게 소개했으며 그것을 사용하기위한 주요 모델을 소개했습니다. 그런 다음 멀티 프로세싱과 장점에 대해 이야기하기 시작했습니다. 결국, 우리는 계산을 병렬화하는 것이 항상 최선의 선택이 아니며 멀티 프로세싱 모듈은 CPU 결합 작업을 병렬화하는 데 사용해야한다는 것을 알았습니다. 항상 그렇듯이, 그것은 당신이 직면하고있는 특정 문제를 고려하고 다른 솔루션의 장단점을 평가하는 문제입니다.

. 나는 당신이 내가했던 것처럼 유용한 파이썬 멀티 프로세싱에 대해 배우기를 바랍니다. Python Multiprocessing 및 병렬 프로그래밍 에 대한 FAQ

파이썬에서 멀티 프로세싱을 사용하는 데있어 주요 장점은 무엇입니까?

파이썬에서 멀티 프로세싱을 사용하는 주요 장점은 여러 프로세스를 동시에 실행할 수 있다는 것입니다. 이는 프로그램이 CPU의 여러 코어를 활용하여 프로그램의 속도와 효율성을 크게 향상시킬 수 있으므로 CPU 집약적 인 작업을 수행 할 때 특히 유익합니다. 스레딩과 달리 멀티 프로세싱은 Python의 GIL (Global Interpreter Lock)으로 어려움을 겪지 않으므로 각 프로세스는 다른 프로세스의 영향을받지 않고 독립적으로 실행될 수 있음을 의미합니다. 이것은 멀티 프로세싱이 Python에서 병렬 프로그래밍을위한 강력한 도구를 만듭니다.

Python의 멀티 프로세싱 모듈은 어떻게 작동합니까?

Python의 멀티 프로세싱 모듈은 각 작업에 대한 새로운 프로세스를 만들어 작동합니다. 동시에 실행됩니다. 각 프로세스에는 고유 한 Python 통역사 및 메모리 공간이있어 다른 프로세스와 독립적으로 실행될 수 있습니다. 멀티 프로세싱 모듈은 이러한 프로세스를 쉽게 만들고 관리 할 수있는 여러 클래스와 기능을 제공합니다. 예를 들어, 프로세스 클래스는 새 프로세스를 만드는 데 사용되는 반면 풀 클래스는 작업자 프로세스 풀을 관리하는 데 사용됩니다.

파이썬의 멀티 프로세싱과 멀티 스레딩의 차이점은 무엇입니까?

파이썬에서 멀티 프로세싱과 멀티 스레딩의 주요 차이점은 작업을 처리하는 방법에 있습니다. 멀티 프로세싱은 각 작업마다 새로운 프로세스를 생성하지만 MultithReading은 동일한 프로세스 내에서 새 스레드를 만듭니다. 이는 멀티 프로세싱이 여러 CPU 코어를 최대한 활용할 수 있지만, 멀티 스레딩은 Python의 GIL (Global Interpreter Lock)에 의해 제한되므로 한 번에 하나의 스레드 만 실행할 수 있습니다. 그러나 멀티 스레딩은 여전히 ​​입력/출력 작업이 완료되기를 기다리는 I/O 바운드 작업에 여전히 유용 할 수 있습니다. 파이썬의 프로세스간에 데이터를 공유하려면 어떻게 할 수 있습니까?

파이썬의 프로세스 간 데이터 공유는 멀티 프로세싱 모듈의 공유 메모리 메커니즘을 사용하여 달성 할 수 있습니다. 여기에는 값 및 배열 클래스가 포함되며, 이는 각각 공유 변수 및 배열을 생성 할 수 있습니다. 그러나 각 프로세스에는 자체 메모리 공간이 있으므로 한 프로세스의 공유 변수 또는 배열에 대한 변경 사항이 잠금 장치 또는 다중 프로세스 모듈에 의해 제공되는 기타 동기화 프리미티브를 사용하여 명시 적으로 동기화되지 않는 한 다른 프로세스에 반영되지 않습니다.

파이썬에서 멀티 프로세싱을 사용하는 잠재적 인 함정은 무엇입니까?

Python에서 멀티 프로세싱하는 동안 프로그램의 속도와 효율성을 크게 향상시킬 수 있으며 자체 도전 과제도 제공됩니다. 주요 함정 중 하나는 코드의 복잡성이 증가한다는 것입니다. 여러 프로세스를 관리하는 것은 특히 공유 데이터를 처리하고 프로세스를 동기화 할 때 단일 스레드 프로그램을 관리하는 것보다 더 복잡 할 수 있습니다. 또한 새로운 프로세스를 작성하는 것은 새로운 스레드를 만드는 것보다 리소스 집약적이므로 메모리 사용이 증가 할 수 있습니다. 마지막으로, 모든 작업이 병렬화에 적합한 것은 아니며, 경우에 따라 여러 프로세스를 작성하고 관리하는 오버 헤드가 잠재적 성능 이득을 능가 할 수 있습니다.

Python에서의 다중 프로세싱의 예외를 어떻게 처리 할 수 ​​있습니까?

파이썬에서 멀티 프로세싱의 처리 예외는 아동 프로세스에서 발생하는 예외가 부모 프로세스로 자동 전파되지 않기 때문에 약간 까다로울 수 있습니다. 그러나 멀티 프로세싱 모듈은 예외를 처리하는 몇 가지 방법을 제공합니다. 한 가지 방법은 프로세스 클래스의 is_alive () 메소드를 사용하여 프로세스가 여전히 실행 중인지 확인하는 것입니다. 메소드가 False를 반환하면 프로세스가 종료되었음을 의미하며 이는 예외로 인한 것일 수 있습니다. 또 다른 방법은 프로세스 클래스의 ExitCode 속성을 사용하는 것입니다. 프로세스가 종료 된 이유에 대한 자세한 정보를 제공 할 수 있습니다.

다른 Python 라이브러리와 함께 멀티 프로세싱을 사용할 수 있습니까? 예, 멀티 프로세스를 사용할 수 있습니다. 다른 파이썬 라이브러리. 그러나 모든 라이브러리가 멀티 프로세싱 환경에서 사용되도록 설계된 것은 아닙니다. 일부 라이브러리는 스레드 안전하지 않거나 동시 실행을 지원하지 않을 수 있습니다. 따라서, 멀티 프로세싱을 지원하는지 확인하기 위해 사용중인 라이브러리의 문서를 확인하는 것이 좋습니다. Python에서 멀티 프로세싱 프로그램을 디버깅 할 수있는 방법은 무엇입니까?

다중 프로세싱 환경에서 예상대로 작동하지 않을 수 있으므로 Python에서 멀티 프로세싱 프로그램을 디버깅하는 것은 어려울 수 있습니다. 그러나 프로그램을 디버깅하는 데 사용할 수있는 몇 가지 기술이 있습니다. 한 가지 방법은 인쇄 문 또는 로깅을 사용하여 프로그램 실행을 추적하는 것입니다. 또 다른 방법은 PDB 모듈의 set_trace () 함수를 사용하여 코드에서 중단 점을 설정하는 것입니다. 멀티 프로세싱 모듈의 log_to_stderr () 함수와 같은 멀티 프로세싱을 지원하는 특수 디버깅 도구를 사용하여 프로세스의 활동을 표준 오류에 기록 할 수 있습니다. 운영 체제?

예, 다른 운영 체제에서 파이썬에서 멀티 프로세싱을 사용할 수 있습니다. 멀티 프로세싱 모듈은 표준 Python 라이브러리의 일부이므로 Python을 지원하는 모든 플랫폼에서 사용할 수 있습니다. 그러나 다중 프로세싱 모듈의 동작은 프로세스를 처리하는 방식의 차이로 인해 운영 체제마다 약간 달라질 수 있습니다. 따라서 대상 운영 체제에서 프로그램이 예상대로 작동하는지 확인하는 것이 항상 좋은 생각입니다. Python에서 멀티 프로세싱을 사용하기위한 몇 가지 모범 사례는 무엇입니까?

일부 모범 사례에 대한 모범 사례는 무엇입니까? 파이썬에서 멀티 프로세싱 사용은 다음과 같습니다. - 가능할 때마다 프로세스간에 데이터를 공유하지 않으면 복잡한 동기화 문제가 발생할 수 있으므로 풀 클래스를 사용하여 작업자를 관리합니다. 프로세스는 프로세스를 작성하고 관리하는 프로세스를 단순화하는 더 높은 수준의 인터페이스를 제공하므로 프로세스 클래스의 join () 메소드를 호출하여 프로세스를 계속 정리하여 프로세스가 계속되기 전에 프로세스가 완료되도록합니다. . - 프로그램이 예기치 않게 충돌하지 않도록 예외를 올바르게 처리하십시오.

- 프로그램이 멀티 프로세싱 환경에서 올바르게 작동하는지 확인하기 위해 프로그램을 철저히 테스트하십시오.

.

위 내용은 파이썬 다중 프로세싱 및 병렬 프로그래밍에 대한 안내서의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!