搜尋
首頁後端開發Python教學基於python的多進程共享變數正確開啟方式

基於python的多進程共享變數正確開啟方式

Apr 28, 2018 pm 03:55 PM
python共享變數

下面為大家分享一篇基於python的多進程共享變數正確開啟方式,具有很好的參考價值,希望對大家有幫助。一起過來看看吧

多進程共享變數和獲得結果

由於工程需求,要使用多執行緒來執行一個程式。但因為聽說python的多執行緒是假的,所以使用多進程,反正任務需要共享的參數少。

查閱資料,發現實作多重流程主要使用Multiprocessing,有兩種方式,一種是Process,另一種是Pool。


p = Process(target=fun,args=(args))


再透過p.start()來啟動一個子進程,透過p.join()方法讓子進程運行結束後再執行父進程。

但是這樣很煩,還要寫個for 迴圈來開n個執行緒和join。

於是推薦用Pool。它可以開啟一個固定大小的行程池,然後每個執行緒執行apply_async()函數呼叫要執行的函數,最後再close和join。

程式碼如下:


#
pathm=Manager().Queue(len(pathlist))
for d in pathlist:
 pathm.put(d)
p=Pool(cp.threads)
results=[]
for i in range(cp.threads):
 temp=p.apply_async(ProcessWorker,args=(i,pathm,cp))
 results.append(temp)
print 'Waiting for all subprocesses done...'
p.close()
p.join()
print 'All subprocesses finish Processing.'
results=[r.get() for r in results]


上面的程式碼示範如何使用pool多進程,如何在Pool裡的進程之間共用變數pathm,以及如何取得進程函數執行的結果。需要注意的是,ProcessWorker必須是個無界的函數,否則報錯該函數無法被pickle從而不能分配到各個進程。


cPickle.PicklingError: Can&#39;t pickle <type &#39;instancemethod&#39;>: attribute lookup __builtin__.instancemethod failed


#有界函數與python的多進程機制



從上面引申到了一個概念,就是有界函數無界函數的概念。

查閱資料之後我總結如下:

##########有界函數是包在一個類別中,並且只有當類別被實例化之後才能所使用的函數,它的界就是這個實例。我們常常把這些函數稱為類別方法。例如以self為參數的類別方法。 ######無界函數可以是沒有被包在類別中的函數,也可以是類別中的靜態方法,它們跟類別是獨立的。如類別中的靜態方法,它即使在某個類別中被定義,但是不能存取類別中的參數和其他方法。 ######python多進程的機制應該是把每個行程要呼叫的方法和傳入的參數(如上面例子中的ProcessWorker)編譯然後打包,然後複製到每個進程中執行。如果輸入的是一個有界函數,那麼它的參數應該是它所屬的類別(包括參數和方法),但是這是無法獲得的,而且類別屬性和方法可能會有坑,導致難以打包。所以python限定了多進程要呼叫的函數不能是類別方法。 ######我們要把多進程呼叫的函數放到類別外面,或是變成靜態函數。但是靜態函數的話不能被所屬的類別的方法調用(self.ProcessWorker的形式),需要在外部調用,如mc=MyClass(),mc.ProcessWorker來調用,或者MyClass().ProcessWorker來調用。 ######相關推薦:############基於Python 裝飾器裝飾類別中的方法############基於Python Numpy的陣列array和矩陣matrix詳解_python############################

以上是基於python的多進程共享變數正確開啟方式的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
Python vs.C:申請和用例Python vs.C:申請和用例Apr 12, 2025 am 12:01 AM

Python适合数据科学、Web开发和自动化任务,而C 适用于系统编程、游戏开发和嵌入式系统。Python以简洁和强大的生态系统著称,C 则以高性能和底层控制能力闻名。

2小時的Python計劃:一種現實的方法2小時的Python計劃:一種現實的方法Apr 11, 2025 am 12:04 AM

2小時內可以學會Python的基本編程概念和技能。 1.學習變量和數據類型,2.掌握控制流(條件語句和循環),3.理解函數的定義和使用,4.通過簡單示例和代碼片段快速上手Python編程。

Python:探索其主要應用程序Python:探索其主要應用程序Apr 10, 2025 am 09:41 AM

Python在web開發、數據科學、機器學習、自動化和腳本編寫等領域有廣泛應用。 1)在web開發中,Django和Flask框架簡化了開發過程。 2)數據科學和機器學習領域,NumPy、Pandas、Scikit-learn和TensorFlow庫提供了強大支持。 3)自動化和腳本編寫方面,Python適用於自動化測試和系統管理等任務。

您可以在2小時內學到多少python?您可以在2小時內學到多少python?Apr 09, 2025 pm 04:33 PM

兩小時內可以學到Python的基礎知識。 1.學習變量和數據類型,2.掌握控制結構如if語句和循環,3.了解函數的定義和使用。這些將幫助你開始編寫簡單的Python程序。

如何在10小時內通過項目和問題驅動的方式教計算機小白編程基礎?如何在10小時內通過項目和問題驅動的方式教計算機小白編程基礎?Apr 02, 2025 am 07:18 AM

如何在10小時內教計算機小白編程基礎?如果你只有10個小時來教計算機小白一些編程知識,你會選擇教些什麼�...

如何在使用 Fiddler Everywhere 進行中間人讀取時避免被瀏覽器檢測到?如何在使用 Fiddler Everywhere 進行中間人讀取時避免被瀏覽器檢測到?Apr 02, 2025 am 07:15 AM

使用FiddlerEverywhere進行中間人讀取時如何避免被檢測到當你使用FiddlerEverywhere...

Python 3.6加載Pickle文件報錯"__builtin__"模塊未找到怎麼辦?Python 3.6加載Pickle文件報錯"__builtin__"模塊未找到怎麼辦?Apr 02, 2025 am 07:12 AM

Python3.6環境下加載Pickle文件報錯:ModuleNotFoundError:Nomodulenamed...

如何提高jieba分詞在景區評論分析中的準確性?如何提高jieba分詞在景區評論分析中的準確性?Apr 02, 2025 am 07:09 AM

如何解決jieba分詞在景區評論分析中的問題?當我們在進行景區評論分析時,往往會使用jieba分詞工具來處理文�...

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

VSCode Windows 64位元 下載

VSCode Windows 64位元 下載

微軟推出的免費、功能強大的一款IDE編輯器

mPDF

mPDF

mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),

MantisBT

MantisBT

Mantis是一個易於部署的基於Web的缺陷追蹤工具,用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。

WebStorm Mac版

WebStorm Mac版

好用的JavaScript開發工具

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強大的PHP整合開發環境