python多進程快還是多執行緒快？

下面小編就為大家帶來一篇python多進程和多執行緒究竟誰更快(詳解)。小編覺得蠻不錯的，現在就分享給大家，也給大家做個參考。一起跟著小編過來看看吧

python3.6

threading和multiprocessing

四核心+三星250G-850-SSD

#自用多進程和多執行緒進行編程，一致沒搞懂到底誰更快。網路上很多都說python多進程比較快，因為GIL(全域解釋器鎖定)。但是我在寫程式碼的時候，測試時間卻是多執行緒更快，所以這到底是怎麼回事？最近再做分詞工作，原來的程式碼速度太慢，想提速，所以來探求一下有效方法(文末有程式碼和效果圖)

這裡先來一張程式的結果圖，說明線程和進程誰更快

#一些定義

##並行是指兩個或多個事件在同一時刻發生。並發是指兩個或多個事件在同一時間間隔內發生執行緒是作業系統能夠進行運算調度的最小單位。它被包含在進程之中，是進程中的實際運作單位。一個程式的執行實例就是一個行程。

實作過程

而python裡面的多執行緒顯然得拿到GIL,執行code，最後釋放GIL。所以由於GIL，多執行緒的時候拿不到，實際上，它是並發實現，即多個事件，在同一時間間隔內發生。 但進程有獨立GIL，所以可以並行實作。因此，針對多核心CPU，理論上採用多進程更能有效利用資源。

現實問題

網路上的教學裡面，常常能見到python多執行緒的身影。例如網路爬蟲的教學、連接埠掃描的教學。 這裡拿連接埠掃描來說，大家可以用多進程實作下面的腳本，會發現python多進程更快。那麼不就是跟我們分析相違背了嗎？

import sys,threading
from socket import *

host = "127.0.0.1" if len(sys.argv)==1 else sys.argv[1]
portList = [i for i in range(1,1000)]
scanList = []
lock = threading.Lock()
print('Please waiting... From ',host)


def scanPort(port):
  try:
    tcp = socket(AF_INET,SOCK_STREAM)
    tcp.connect((host,port))
  except:
    pass
  else:
    if lock.acquire():
      print('[+]port',port,'open')
      lock.release()
  finally:
    tcp.close()

for p in portList:
  t = threading.Thread(target=scanPort,args=(p,))
  scanList.append(t)
for i in range(len(portList)):
  scanList[i].start()
for i in range(len(portList)):
  scanList[i].join()

誰更快

因為python鎖定的問題，線程進行鎖定競爭、切換線程，會消耗資源。所以，大膽猜測一下：在CPU密集型任務下，多進程更快，或者說效果更好；而IO密集型，多執行緒能有效提高效率。

大家看一下下面的程式碼：

import time
import threading
import multiprocessing

max_process = 4
max_thread = max_process

def fun(n,n2):
  #cpu密集型
  for i in range(0,n):
    for j in range(0,(int)(n*n*n*n2)):
      t = i*j

def thread_main(n2):
  thread_list = []
  for i in range(0,max_thread):
    t = threading.Thread(target=fun,args=(50,n2))
    thread_list.append(t)

  start = time.time()
  print(' [+] much thread start')
  for i in thread_list:
    i.start()
  for i in thread_list:
    i.join()
  print(' [-] much thread use ',time.time()-start,'s')

def process_main(n2):
  p = multiprocessing.Pool(max_process)
  for i in range(0,max_process):
    p.apply_async(func = fun,args=(50,n2))
  start = time.time()
  print(' [+] much process start')
  p.close()#关闭进程池
  p.join()#等待所有子进程完毕
  print(' [-] much process use ',time.time()-start,'s')

if name=='main':
  print("[++]When n=50,n2=0.1:")
  thread_main(0.1)
  process_main(0.1)
  print("[++]When n=50,n2=1:")
  thread_main(1)
  process_main(1)
  print("[++]When n=50,n2=10:")
  thread_main(10)
  process_main(10)

結果如下：

可以看出來，當對cpu使用率越來越高的時候（程式碼循環越多的時候），差距越來越大。驗證我們猜想

CPU和IO密集型

1、CPU密集型程式碼(各種循環處理、計數等等)

2、IO密集型程式碼(檔案處理、網路爬蟲等)

#判斷方法：

1、直接看CPU佔用率, 硬碟IO讀寫速度

2、計算較多->CPU;時間等待較多(如網路爬蟲)->IO

########################################### ##3、請自行百度######【相關推薦】######1.### Python中多進程與多執行緒實例（一）#########2. ###Python中推薦使用多進程而不是多執行緒？分享建議使用多進程的原因#########3. ###Python中多進程與多執行緒實例（二）程式設計方法#########4. ###關於Python進程、執行緒、協程詳細介紹#########5. ###Python 並發程式設計執行緒池/進程池######## ###

以上是python多進程快還是多執行緒快？的詳細內容。更多資訊請關注PHP中文網其他相關文章！