1. 소개
스레드와 프로세스 중에서는 프로세스가 더 안정적이고 프로세스가 여러 머신에 배포될 수 있는 반면 스레드는 최대 동일한 머신의 여러 CPU에만 배포될 수 있으므로 선호되어야 합니다. .
Python의 다중 처리 모듈은 여러 프로세스를 지원할 뿐만 아니라 관리자 하위 모듈도 여러 프로세스를 여러 컴퓨터에 배포하는 것을 지원합니다. 서비스 프로세스를 스케줄러로 작성하여 작업을 여러 다른 프로세스에 배포하고 관리를 위해 네트워크 통신에 의존할 수 있습니다.
2. 사례 분석
크롤러 프로그램을 만들 때 웹 사이트의 모든 사진을 가져옵니다. 여러 프로세스를 사용하는 경우 일반적으로 하나의 프로세스가 사진의 링크 주소를 가져오고 링크 주소를 넣는 역할을 합니다. in 대기열에서는 다른 프로세스가 대기열에서 링크 주소를 가져와 로컬로 다운로드하고 저장하는 역할을 담당합니다.
분산 프로세스를 사용하여 어떻게 구현하나요?
한 컴퓨터의 프로세스는 링크 주소를 가져오는 역할을 담당하고 다른 컴퓨터의 프로세스는 이를 저장하는 역할을 합니다. 직면한 주요 문제는 다른 시스템 프로세스가 액세스할 수 있도록 대기열을 네트워크에 노출시키는 것입니다. 이 프로세스는 로컬 대기열의 네트워킹이라고 할 수 있습니다.
예:
1.py
from multiprocessing.managers import BaseManager from multiprocessing import freeze_support, Queue # 任务个数 task_number = 10 # 收发队列 task_quue = Queue(task_number) result_queue = Queue(task_number) def get_task(): return task_quue def get_result(): return result_queue # 创建类似的queueManager class QueueManager(BaseManager): pass def win_run(): # 注册在网络上,callable 关联了Queue 对象 # 将Queue对象在网络中暴露 # window下绑定调用接口不能直接使用lambda,所以只能先定义函数再绑定 QueueManager.register('get_task_queue', callable=get_task) QueueManager.register('get_result_queue', callable=get_result) # 绑定端口和设置验证口令 manager = QueueManager(address=('127.0.0.1', 8001), authkey='qiye'.encode()) # 启动管理,监听信息通道 manager.start() try: # 通过网络获取任务队列和结果队列 task = manager.get_task_queue() result = manager.get_result_queue() # 添加任务 for url in ["ImageUrl_" + str(i) for i in range(10)]: print('url is %s' % url) task.put(url) print('try get result') for i in range(10): print('result is %s' % result.get(timeout=10)) except: print('Manager error') finally: manager.shutdown() if __name__ == '__main__': freeze_support() win_run()
서버에 연결하면 포트 및 확인 비밀번호는 서버 프로세스의 것과 정확히 동일하게 유지되어야 합니다. 네트워크에서 대기열 가져오기, 현지화 수행, 작업 가져오기. 작업 큐에서 결과를 결과에 씁니다. Queue
2.py
#coding:utf-8 import time from multiprocessing.managers import BaseManager # 创建类似的Manager: class Manager(BaseManager): pass #使用QueueManager注册获取Queue的方法名称 Manager.register('get_task_queue') Manager.register('get_result_queue') #连接到服务器: server_addr = '127.0.0.1' print('Connect to server %s...' % server_addr) # 端口和验证口令注意保持与服务进程设置的完全一致: m = Manager(address=(server_addr, 8001), authkey='qiye') # 从网络连接: m.connect() #获取Queue的对象: task = m.get_task_queue() result = m.get_result_queue() #从task队列取任务,并把结果写入result队列: while(not task.empty()): image_url = task.get(True,timeout=5) print('run task download %s...' % image_url) time.sleep(1) result.put('%s--->success'%image_url) #结束: print('worker exit.')
작업 프로세스는 네트워크를 통해 서비스 프로세스에 연결되어야 하므로 서비스 프로세스의 IP를 지정해야 합니다.
실행 결과는 다음과 같습니다.
이미지 주소를 가져와서 해당 주소를 2.py에 전달합니다.
1.py가 전달한 주소를 받아 이미지를 다운로드하면 콘솔에 크롤링 결과가 표시됩니다.
3. 요약
Python의 분산 프로세스 인터페이스는 간단하고 잘 캡슐화되어 있어 여러 시스템에 분산해야 하는 환경에 적합합니다. 대기열의 역할은 작업을 전달하고 결과를 받는 것이라고 설명합니다.
위 내용은 Python의 분산 프로세스 인터페이스를 이해하는 데 도움이 되는 기사의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

PythonArraysSupportVariousOperations : 1) SlicingExtractsSubsets, 2) 추가/확장 어드먼트, 3) 삽입 값 삽입 ATSpecificPositions, 4) retingdeletesElements, 5) 분류/ReversingChangesOrder 및 6) ListsompectionScreateNewListSbasedOnsistin

NumpyArraysareSentialplosplicationSefficationSefficientNumericalcomputationsanddatamanipulation. Theyarcrucialindatascience, MachineLearning, Physics, Engineering 및 Financeduetotheiribility에 대한 handlarge-scaledataefficivally. forexample, Infinancialanyaly

UseanArray.ArrayOveralistInpyThonWhendealingwithhomogeneousData, Performance-CriticalCode, OrinterFacingwithCcode.1) HomogeneousData : ArraysSaveMemorywithtypepletement.2) Performance-CriticalCode : arraysofferbetterporcomanceFornumericalOperations.3) Interf

아니요, NOTALLLISTOPERATIONARESUPPORTEDBYARRARES, andVICEVERSA.1) ArraySDONOTSUPPORTDYNAMICOPERATIONSLIKEPENDORINSERTWITHUTRESIGING, WHITHIMPACTSPERFORMANCE.2) ListSDONOTEECONSTANTTIMECOMPLEXITEFORDITITICCESSLIKEARRAYSDO.

ToaccesselementsInapyThonlist, 사용 인덱싱, 부정적인 인덱싱, 슬라이스, 오리 화.

Arraysinpython, 특히 비밀 복구를위한 ArecrucialInscientificcomputing.1) theaRearedFornumericalOperations, DataAnalysis 및 MachinELearning.2) Numpy'SimplementationIncensuressuressurations thanpythonlists.3) arraysenablequick

Pyenv, Venv 및 Anaconda를 사용하여 다양한 Python 버전을 관리 할 수 있습니다. 1) PYENV를 사용하여 여러 Python 버전을 관리합니다. Pyenv를 설치하고 글로벌 및 로컬 버전을 설정하십시오. 2) VENV를 사용하여 프로젝트 종속성을 분리하기 위해 가상 환경을 만듭니다. 3) Anaconda를 사용하여 데이터 과학 프로젝트에서 Python 버전을 관리하십시오. 4) 시스템 수준의 작업을 위해 시스템 파이썬을 유지하십시오. 이러한 도구와 전략을 통해 다양한 버전의 Python을 효과적으로 관리하여 프로젝트의 원활한 실행을 보장 할 수 있습니다.

Numpyarrayshaveseveraladvantagesstandardpythonarrays : 1) thearemuchfasterduetoc 기반 간증, 2) thearemorememory-refficient, 특히 withlargedatasets 및 3) wepferoptizedformationsformationstaticaloperations, 만들기, 만들기


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

뜨거운 도구

DVWA
DVWA(Damn Vulnerable Web App)는 매우 취약한 PHP/MySQL 웹 애플리케이션입니다. 주요 목표는 보안 전문가가 법적 환경에서 자신의 기술과 도구를 테스트하고, 웹 개발자가 웹 응용 프로그램 보안 프로세스를 더 잘 이해할 수 있도록 돕고, 교사/학생이 교실 환경 웹 응용 프로그램에서 가르치고 배울 수 있도록 돕는 것입니다. 보안. DVWA의 목표는 다양한 난이도의 간단하고 간단한 인터페이스를 통해 가장 일반적인 웹 취약점 중 일부를 연습하는 것입니다. 이 소프트웨어는

WebStorm Mac 버전
유용한 JavaScript 개발 도구

Atom Editor Mac 버전 다운로드
가장 인기 있는 오픈 소스 편집기

에디트플러스 중국어 크랙 버전
작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음

MinGW - Windows용 미니멀리스트 GNU
이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.
