搜尋
首頁後端開發Python教學為什麼 Spark 慢?

為什麼 Spark 慢?

從一個引人注目的標題「Spark 為什麼這麼慢?」開始,值得注意的是,稱 Spark「慢」可能意味著多種含義。聚合速度慢嗎?資料加載?存在不同的情況。此外,「Spark」是一個廣泛的術語,其性能取決於程式語言和使用上下文等因素。因此,在深入討論之前,讓我們將標題改進得更加精確。

由於我主要在 Databricks 上使用 Spark 和 Python,因此我將進一步縮小範圍。

優化後的標題將是:

「Spark 的第一印象:『聽說它很快,但為什麼感覺很慢?』初學者的視角」


寫作動機(隨意的想法)

作為廣泛使用 pandas、NumPy 和機器學習庫的人,我欽佩 Spark 透過平行和分散式處理處理大數據的能力。當我終於在工作中使用 Spark 時,我對它看起來比 pandas 慢的場景感到困惑。不確定出了什麼問題,我發現了一些見解並想與大家分享。


你的火花什麼時候會變慢?

在進入主題之前

我們簡單介紹一下Spark的基本架構。

Why Is Spark Slow??

(群集模式概述)

Spark 叢集由執行實際處理的 工作節點和協調和計劃執行的驅動程式節點組成。這種架構會影響下面討論的所有內容,因此請記住這一點。

現在,進入重點。


1. 資料集不夠大

Spark 針對大規模資料處理進行了最佳化,但它也可以處理小型資料集。然而,看看這個基準:

Why Is Spark Slow??

(在單節點機器上對 Apache Spark 進行基準測試)

結果表明,對於 15GB 以下的資料集,pandas 在聚合任務中優於 Spark。為什麼?簡而言之,Spark 最佳化的開銷超過了小資料集的好處

此連結顯示了 Spark 並不慢的情況,但這些情況通常處於本地叢集模式。對於獨立設置,由於節點之間的網路通訊開銷,較小的資料集可能是缺點。

  • pandas:在一台機器上處理記憶體中的所有內容,無需網路或儲存 I/O。
  • Spark:使用 RDD(彈性分散式資料集),涉及 Workers 之間的網路通訊(如果分散式),並會在組織資料以進行平行處理時產生開銷。

2. 理解惰性求值

Spark 採用惰性求值,這表示轉換不會立即執行,而是延遲到某個操作(例如收集、計數、顯示)觸發計算為止。

範例(熊貓):

執行時間:3.04秒

Spark 中的等效項:

執行時間:3分鐘後仍在運作。


為什麼?

  1. 惰性求值:所有轉換都會排隊,並且僅在表演等動作期間執行。
  2. Driver 到 Worker 的通訊:收集和顯示等操作涉及從 Workers 到 Driver 的資料傳輸,導致延遲。

Spark 程式碼在 pandas 中有效地執行了此操作:

透過使用 Spark 的快取或重建邏輯以盡量減少重複計算來避免此類模式。


3. 注意隨機播放

https://spark.apache.org/docs/latest/rdd-programming-guide.html#shuffle-operations

隨機播放 當資料在 Workers 之間重新分配時發生,通常是在 groupByKey、join 或重新分區等操作期間。隨機播放可能會很慢,原因是:

  • 節點之間的網路通訊
  • 跨分區資料的全域排序與聚合

例如,擁有更多 Worker 並不總是能提高洗牌期間的效能。

  • 32GB x 8 Workers 可能比 64GB x 4 Workers 慢,因為較少的 Workers 會減少節點間通訊。

結論

您覺得這有幫助嗎?如果有效使用,Spark 是個出色的工具。除了加速大規模資料處理之外,Spark 還以其可擴展的資源管理而大放異彩,尤其是在雲端。

嘗試 Spark 來優化您的資料營運和管理!

以上是為什麼 Spark 慢?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
我如何使用美麗的湯來解析HTML?我如何使用美麗的湯來解析HTML?Mar 10, 2025 pm 06:54 PM

本文解釋瞭如何使用美麗的湯庫來解析html。 它詳細介紹了常見方法,例如find(),find_all(),select()和get_text(),以用於數據提取,處理不同的HTML結構和錯誤以及替代方案(SEL)

Python中的數學模塊:統計Python中的數學模塊:統計Mar 09, 2025 am 11:40 AM

Python的statistics模塊提供強大的數據統計分析功能,幫助我們快速理解數據整體特徵,例如生物統計學和商業分析等領域。無需逐個查看數據點,只需查看均值或方差等統計量,即可發現原始數據中可能被忽略的趨勢和特徵,並更輕鬆、有效地比較大型數據集。 本教程將介紹如何計算平均值和衡量數據集的離散程度。除非另有說明,本模塊中的所有函數都支持使用mean()函數計算平均值,而非簡單的求和平均。 也可使用浮點數。 import random import statistics from fracti

如何使用TensorFlow或Pytorch進行深度學習?如何使用TensorFlow或Pytorch進行深度學習?Mar 10, 2025 pm 06:52 PM

本文比較了Tensorflow和Pytorch的深度學習。 它詳細介紹了所涉及的步驟:數據準備,模型構建,培訓,評估和部署。 框架之間的關鍵差異,特別是關於計算刻度的

python對象的序列化和避難所化:第1部分python對象的序列化和避難所化:第1部分Mar 08, 2025 am 09:39 AM

Python 對象的序列化和反序列化是任何非平凡程序的關鍵方面。如果您將某些內容保存到 Python 文件中,如果您讀取配置文件,或者如果您響應 HTTP 請求,您都會進行對象序列化和反序列化。 從某種意義上說,序列化和反序列化是世界上最無聊的事情。誰會在乎所有這些格式和協議?您想持久化或流式傳輸一些 Python 對象,並在以後完整地取回它們。 這是一種在概念層面上看待世界的好方法。但是,在實際層面上,您選擇的序列化方案、格式或協議可能會決定程序運行的速度、安全性、維護狀態的自由度以及與其他系

如何解決Linux終端中查看Python版本時遇到的權限問題?如何解決Linux終端中查看Python版本時遇到的權限問題?Apr 01, 2025 pm 05:09 PM

Linux終端中查看Python版本時遇到權限問題的解決方法當你在Linux終端中嘗試查看Python的版本時,輸入python...

用美麗的湯在Python中刮擦網頁:搜索和DOM修改用美麗的湯在Python中刮擦網頁:搜索和DOM修改Mar 08, 2025 am 10:36 AM

該教程建立在先前對美麗湯的介紹基礎上,重點是簡單的樹導航之外的DOM操縱。 我們將探索有效的搜索方法和技術,以修改HTML結構。 一種常見的DOM搜索方法是EX

哪些流行的Python庫及其用途?哪些流行的Python庫及其用途?Mar 21, 2025 pm 06:46 PM

本文討論了諸如Numpy,Pandas,Matplotlib,Scikit-Learn,Tensorflow,Tensorflow,Django,Blask和請求等流行的Python庫,並詳細介紹了它們在科學計算,數據分析,可視化,機器學習,網絡開發和H中的用途

如何使用Python創建命令行接口(CLI)?如何使用Python創建命令行接口(CLI)?Mar 10, 2025 pm 06:48 PM

本文指導Python開發人員構建命令行界面(CLIS)。 它使用Typer,Click和ArgParse等庫詳細介紹,強調輸入/輸出處理,並促進用戶友好的設計模式,以提高CLI可用性。

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
2 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
2 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
2 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

EditPlus 中文破解版

EditPlus 中文破解版

體積小,語法高亮,不支援程式碼提示功能

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強大的PHP整合開發環境

Safe Exam Browser

Safe Exam Browser

Safe Exam Browser是一個安全的瀏覽器環境,安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問,並防止學生使用未經授權的資源。

Dreamweaver Mac版

Dreamweaver Mac版

視覺化網頁開發工具

VSCode Windows 64位元 下載

VSCode Windows 64位元 下載

微軟推出的免費、功能強大的一款IDE編輯器