首頁  >  文章  >  後端開發  >  Python中推薦使用多進程而不是多執行緒?分享推薦使用多進程的原因

Python中推薦使用多進程而不是多執行緒?分享推薦使用多進程的原因

零下一度
零下一度原創
2017-06-01 10:03:581582瀏覽

最近在看Python的多線程,常常我們會聽到老手說:「Python下多線程是雞肋,推薦使用多進程!                
要知其然,更要知道自己。所以有了以下的深入研究:        











先強調背景:        
#1、GIL是什麼?
GIL的全名是Global Interpreter Lock(全域解釋器鎖定),來源是python設計之初的考慮,為了資料安全所做的決定。
2、每個CPU在同一時間只能執行一個執行緒(在單核心CPU下的多執行緒其實都只是並發,不是並行,並行和並行從宏觀上來講都是同時處理多路請求的概念。兩個或多個事件在同一時間間隔內發生。 、執行程式碼直到sleep或是python虛擬機器將其掛起。 3、釋放GIL        
        
可見,某個執行緒想要執行,必須先拿到GIL,我們可以把GIL看作是“通行證”,並且在一個python進程中,GIL只有一個。拿不到通行證的線程,就不允許進入CPU執行。         
        
在Python2.x裡,GIL的釋放邏輯是當前線程遇見IO操作或ticks計數達到100(ticks可以看作是Python自身的一個計數器,專門做用於GIL,每次釋放後歸零,這個計數可以透過sys.setcheckinterval 來調整),進行釋放。 
###        #############################而每次釋放GIL鎖定,執行緒進行鎖競爭、切換線程,會消耗資源。而由於GIL鎖定存在,python裡一個行程永遠只能同時執行一個執行緒(拿到GIL的執行緒才能執行),這就是為什麼在多核心CPU上,python的多執行緒效率並不高。 ############        ##########                     #    ##################1#1##py#py#py#py#py#py#py#py#py#py#2#)#p#多線程就完全沒用了呢? ###        #############在這裡我們進行分類討論:        
1、CPU密集型程式碼(各種循環處理、計數等等),在這種情況下,由於計算工作多,ticks計數很快就會達到閾值,然後觸發GIL的釋放與再競爭(多個線程來回切換當然是需要消耗資源的),所以 python下的多執行緒對CPU密集型程式碼並不友善。  

#2、IO密集型程式碼(檔案處理、網路爬蟲等),多執行緒能夠有效提升效率(單執行緒下有IO操作會進行IO等待,造成不必要的時間浪費,而開啟多執行緒能在執行緒A等待時,自動切換到執行緒B,可以不浪費CPU的資源,從而能提升程式執行效率)。 所以python的多執行緒對IO密集型程式碼比較友善。  
        

而在python3.x中,GIL不使用ticks計數,改為使用計時器(執行時間達到閾值後,當前線程釋放GIL),這樣對CPU密集型程序更加友好,但仍然沒有解決GIL導致的同一時間只能執行一個執行緒的問題,所以效率依然不盡人意。  
                         :多核心多線程比單核心多線程更差,原因是單核心下多線程,每次釋放GIL,喚醒的那個線程都能取得到GIL鎖定,所以能夠無縫執行,但多核心下,CPU0釋放GIL後,其他CPU上的線程都會進行競爭,但GIL可能會馬上又被CPU0拿到,導致其他幾個CPU上被喚醒後的線程會醒著等待到切換時間後又進入待調度狀態,這樣會造成線程顛簸(thrashing),造成效率較低
                        ##  #回到最開始的問題:常常我們會聽到老手說:「python下想要充分利用多核心CPU,就用多進程」,原因是什麼呢? 
#原因是:每個行程都有各自獨立的GIL ,互不干擾,這樣就可以真正意義上的並行執行,所以在python中,多進程的執行效率優於多線程(僅僅針對多核心CPU而言)。        #                        ##所以在這裡說結論:多核心下,想做並行提升效率,比較通用的方法是使用多進程,能夠有效提高執行效率  

【相關推薦】

1. Python中多進程與多執行緒實例(一)

2. Python中多進程與多執行緒實例(二)程式設計方法

#3. python多進程快還是多執行緒快?

4. 關於Python進程、執行緒、協程詳細介紹

5. Python 並發程式設計執行緒池/進程池

以上是Python中推薦使用多進程而不是多執行緒?分享推薦使用多進程的原因的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn