下面為大家分享一篇基於python的多進程共享變數正確開啟方式,具有很好的參考價值,希望對大家有幫助。一起過來看看吧
多進程共享變數和獲得結果
由於工程需求,要使用多執行緒來執行一個程式。但因為聽說python的多執行緒是假的,所以使用多進程,反正任務需要共享的參數少。
查閱資料,發現實作多重流程主要使用Multiprocessing,有兩種方式,一種是Process,另一種是Pool。
p = Process(target=fun,args=(args))
再透過p.start()來啟動一個子進程,透過p.join()方法讓子進程運行結束後再執行父進程。
但是這樣很煩,還要寫個for 迴圈來開n個執行緒和join。
於是推薦用Pool。它可以開啟一個固定大小的行程池,然後每個執行緒執行apply_async()函數呼叫要執行的函數,最後再close和join。
程式碼如下:
pathm=Manager().Queue(len(pathlist)) for d in pathlist: pathm.put(d) p=Pool(cp.threads) results=[] for i in range(cp.threads): temp=p.apply_async(ProcessWorker,args=(i,pathm,cp)) results.append(temp) print 'Waiting for all subprocesses done...' p.close() p.join() print 'All subprocesses finish Processing.' results=[r.get() for r in results]
上面的程式碼示範如何使用pool多進程,如何在Pool裡的進程之間共用變數pathm,以及如何取得進程函數執行的結果。需要注意的是,ProcessWorker必須是個無界的函數,否則報錯該函數無法被pickle從而不能分配到各個進程。
cPickle.PicklingError: Can't pickle <type 'instancemethod'>: attribute lookup __builtin__.instancemethod failed
#有界函數與python的多進程機制
從上面引申到了一個概念,就是有界函數無界函數的概念。
查閱資料之後我總結如下:
##########有界函數是包在一個類別中,並且只有當類別被實例化之後才能所使用的函數,它的界就是這個實例。我們常常把這些函數稱為類別方法。例如以self為參數的類別方法。 ######無界函數可以是沒有被包在類別中的函數,也可以是類別中的靜態方法,它們跟類別是獨立的。如類別中的靜態方法,它即使在某個類別中被定義,但是不能存取類別中的參數和其他方法。 ######python多進程的機制應該是把每個行程要呼叫的方法和傳入的參數(如上面例子中的ProcessWorker)編譯然後打包,然後複製到每個進程中執行。如果輸入的是一個有界函數,那麼它的參數應該是它所屬的類別(包括參數和方法),但是這是無法獲得的,而且類別屬性和方法可能會有坑,導致難以打包。所以python限定了多進程要呼叫的函數不能是類別方法。 ######我們要把多進程呼叫的函數放到類別外面,或是變成靜態函數。但是靜態函數的話不能被所屬的類別的方法調用(self.ProcessWorker的形式),需要在外部調用,如mc=MyClass(),mc.ProcessWorker來調用,或者MyClass().ProcessWorker來調用。 ######相關推薦:############基於Python 裝飾器裝飾類別中的方法############基於Python Numpy的陣列array和矩陣matrix詳解_python############################以上是基於python的多進程共享變數正確開啟方式的詳細內容。更多資訊請關注PHP中文網其他相關文章!

Python适合数据科学、Web开发和自动化任务,而C 适用于系统编程、游戏开发和嵌入式系统。Python以简洁和强大的生态系统著称,C 则以高性能和底层控制能力闻名。

2小時內可以學會Python的基本編程概念和技能。 1.學習變量和數據類型,2.掌握控制流(條件語句和循環),3.理解函數的定義和使用,4.通過簡單示例和代碼片段快速上手Python編程。

Python在web開發、數據科學、機器學習、自動化和腳本編寫等領域有廣泛應用。 1)在web開發中,Django和Flask框架簡化了開發過程。 2)數據科學和機器學習領域,NumPy、Pandas、Scikit-learn和TensorFlow庫提供了強大支持。 3)自動化和腳本編寫方面,Python適用於自動化測試和系統管理等任務。

兩小時內可以學到Python的基礎知識。 1.學習變量和數據類型,2.掌握控制結構如if語句和循環,3.了解函數的定義和使用。這些將幫助你開始編寫簡單的Python程序。

如何在10小時內教計算機小白編程基礎?如果你只有10個小時來教計算機小白一些編程知識,你會選擇教些什麼�...

使用FiddlerEverywhere進行中間人讀取時如何避免被檢測到當你使用FiddlerEverywhere...

Python3.6環境下加載Pickle文件報錯:ModuleNotFoundError:Nomodulenamed...

如何解決jieba分詞在景區評論分析中的問題?當我們在進行景區評論分析時,往往會使用jieba分詞工具來處理文�...


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

VSCode Windows 64位元 下載
微軟推出的免費、功能強大的一款IDE編輯器

mPDF
mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),

MantisBT
Mantis是一個易於部署的基於Web的缺陷追蹤工具,用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。

WebStorm Mac版
好用的JavaScript開發工具

ZendStudio 13.5.1 Mac
強大的PHP整合開發環境