多處理中的共享記憶體
Python 中的多處理可讓您建立並發運行的多個進程,使您能夠利用多個核心並提高效能。然而,在進程之間共享大量資料可能是一個問題。在這裡,我們討論使用多處理處理不同物件的大型清單時共享記憶體的行為。
共享記憶體概述
一般來說,Python 使用寫時複製 (COW) 語意建立新流程時。這意味著當創建新進程時,它與父進程共享相同的記憶體。任一進程所做的任何修改都會建立受影響記憶體區域的新副本。但是,存取共享物件會增加其引用計數,從而引起人們對由於引用計數而導致記憶體被複製的可能性的擔憂。
引用計數對資料傳輸的影響
在提供的範例中,當三個包含位數組和整數數組的大列表在多個子進程之間共享時,引用計數機制確實可以導致整個物件被複製。這是因為函數 someFunction 存取每個列表,從而增加其引用計數。由於列表很大,因此每個子進程的記憶體使用量都會顯著增加。
透過共享記憶體確保資料完整性
為了防止不必要的共享資料重複,例如本例中的大型列表,您需要設計一種機制來停用這些列表及其組成對象的引用計數。但是,Python 文件建議不要修改引用計數,因為它是 Python 記憶體管理系統的基本組成部分。
共享記憶體的替代解決方案
共享記憶體時確保資料完整性的可能解決方案子程序之間是使用True Shared Memory。在 Python 3.8 版本中引入,真正的共享記憶體可讓您建立可從所有子進程直接存取的共享記憶體對象,而無需複製資料。
真正共享記憶體的範例
提供的程式碼範例示範了將 True Shared Memory 與 NumPy 陣列一起使用,這是一個常見的用例。 add_one 函數利用共享記憶體(在 create_shared_block 函數中建立)支援的現有 NumPy 陣列來執行計算,而無需複製整個陣列。最終數組列印輸出顯示更新後的數組,驗證子進程中所做的更改是否反映在共享記憶體中。
結論
由於固有的引用計數機制,使用多處理在多個子進程之間共享大量資料可能具有挑戰性。然而,隨著真正共享記憶體的出現,您可以克服這一限制並確保資料完整性,同時利用並行化的優勢。
以上是在 Python 中使用多重處理跨多個子程序共享大量物件時,如何確保資料完整性?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本教程演示如何使用Python處理Zipf定律這一統計概念,並展示Python在處理該定律時讀取和排序大型文本文件的效率。 您可能想知道Zipf分佈這個術語是什麼意思。要理解這個術語,我們首先需要定義Zipf定律。別擔心,我會盡量簡化說明。 Zipf定律 Zipf定律簡單來說就是:在一個大型自然語言語料庫中,最頻繁出現的詞的出現頻率大約是第二頻繁詞的兩倍,是第三頻繁詞的三倍,是第四頻繁詞的四倍,以此類推。 讓我們來看一個例子。如果您查看美國英語的Brown語料庫,您會注意到最頻繁出現的詞是“th

本文解釋瞭如何使用美麗的湯庫來解析html。 它詳細介紹了常見方法,例如find(),find_all(),select()和get_text(),以用於數據提取,處理不同的HTML結構和錯誤以及替代方案(SEL)

處理嘈雜的圖像是一個常見的問題,尤其是手機或低分辨率攝像頭照片。 本教程使用OpenCV探索Python中的圖像過濾技術來解決此問題。 圖像過濾:功能強大的工具圖像過濾器

PDF 文件因其跨平台兼容性而廣受歡迎,內容和佈局在不同操作系統、閱讀設備和軟件上保持一致。然而,與 Python 處理純文本文件不同,PDF 文件是二進製文件,結構更複雜,包含字體、顏色和圖像等元素。 幸運的是,借助 Python 的外部模塊,處理 PDF 文件並非難事。本文將使用 PyPDF2 模塊演示如何打開 PDF 文件、打印頁面和提取文本。關於 PDF 文件的創建和編輯,請參考我的另一篇教程。 準備工作 核心在於使用外部模塊 PyPDF2。首先,使用 pip 安裝它: pip 是 P

本教程演示瞭如何利用Redis緩存以提高Python應用程序的性能,特別是在Django框架內。 我們將介紹REDIS安裝,Django配置和性能比較,以突出顯示BENE

本文比較了Tensorflow和Pytorch的深度學習。 它詳細介紹了所涉及的步驟:數據準備,模型構建,培訓,評估和部署。 框架之間的關鍵差異,特別是關於計算刻度的

Python是數據科學和處理的最愛,為高性能計算提供了豐富的生態系統。但是,Python中的並行編程提出了獨特的挑戰。本教程探討了這些挑戰,重點是全球解釋

本教程演示了在Python 3中創建自定義管道數據結構,利用類和操作員超載以增強功能。 管道的靈活性在於它能夠將一系列函數應用於數據集的能力,GE


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

Dreamweaver CS6
視覺化網頁開發工具

ZendStudio 13.5.1 Mac
強大的PHP整合開發環境

Safe Exam Browser
Safe Exam Browser是一個安全的瀏覽器環境,安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問,並防止學生使用未經授權的資源。

PhpStorm Mac 版本
最新(2018.2.1 )專業的PHP整合開發工具