利用 Python 的模式匹配和理解進行資料分析

• 部落格：什麼是 Data Lakehouse 和表格式？
• Apache Iceberg 權威指南的免費副本
• 免費 Apache Iceberg 速成課程
• Lakehouse目錄課程
• Iceberg Lakehouse 工程影片播放清單

Python 是一種強大且多功能的工具。 Python 以其簡單性和可讀性而聞名，提供了一系列內建功能，使其成為資料操作、分析和視覺化的理想語言。在這些功能中，模式匹配和理解這兩種功能為有效轉換和建構資料提供了顯著的優勢。

Python 3.10 中引入的模式匹配透過使用最少的程式碼來匹配複雜的資料結構，從而實現更直觀和可讀的條件邏輯。當處理不同的資料格式、巢狀結構或套用多個條件轉換時，此功能在資料分析中特別有用。另一方面，推導式（列表推導式、集合推導式和字典推導式）允許簡潔、可讀的表達式，可以動態過濾、轉換和聚合數據，使重複的數據任務更快、更不容易出錯。

讓我們探討這兩個功能如何幫助資料分析師和工程師編寫更清晰、更快、更具可讀性的程式碼。我們將深入探討如何應用模式匹配和理解來簡化資料處理的實際範例，展示它們如何簡化複雜的任務並優化資料工作流程。最後，您將更清楚地了解這些 Python 功能如何增強您的資料分析工具包。

了解 Python 中的模式匹配

模式匹配是在 Python 3.10 (PEP 634) 中透過匹配和大小寫語法引入的，可實現更清晰、更易讀的條件邏輯，特別是在處理複雜的資料結構時。與傳統的 if-else 鏈不同，模式匹配可讓您定義 Python 將匹配的特定模式，從而簡化處理各種資料格式和嵌套結構的程式碼。

透過模式匹配，資料分析師可以編寫富有表現力的程式碼，以最少的樣板來處理不同的資料轉換和格式。例如，在處理包含多種類型值（例如字典、巢狀清單或 JSON 物件）的資料集時，模式匹配可以幫助根據結構和內容對資料進行分類、轉換或驗證。

資料分析中的模式匹配用例

以下是模式匹配有利於資料分析的幾種方式：

• 資料轉換：在資料工作流程中，資料集通常包含混合或巢狀的資料類型。模式匹配可以識別資料集中的特定結構，並根據這些結構應用轉換，從而簡化類型轉換或字串操作等任務。

• 處理巢狀資料：JSON 檔案和巢狀字典在資料分析中很常見。模式匹配可以直觀地解包和重組這些嵌套格式，從而更輕鬆地從深層嵌套資料中提取見解。

• 類型檢查和過濾：在清理資料時，準確處理各種資料類型至關重要。模式匹配可用於檢查資料集中的某些類型（例如 str、int、list），從而可以輕鬆過濾掉不需要的類型或以不同方式處理每種類型以進行驗證和轉換。

模式匹配的實際應用

模式匹配不僅是一個強大的概念，而且在現實世界的資料分析工作流程中也非常實用。透過匹配特定的資料結構和模式，它允許分析師為清理、分類和轉換資料等任務編寫簡潔的程式碼。讓我們探討一些常見的應用程序，其中模式匹配可以簡化資料處理。

範例 1：使用模式比對進行資料清理

任何資料分析專案的第一步都是資料清理。這通常涉及處理缺失值、類型不匹配和不正確的格式。使用模式匹配，您可以匹配資料集中的特定模式以相應地清理或轉換資料。

例如，假設您有一個資料集，其中某些條目可能包含 None 值、不正確的日期格式或意外的資料類型。模式匹配使您能夠簡潔地處理每種情況：

def clean_entry(entry):
    match entry:
        case None:
            return "Missing"
        case str(date) if date.isdigit():
            return f"2023-{date[:2]}-{date[2:]}"  # Convert YYMMDD to YYYY-MM-DD
        case int(value):
            return float(value)  # Convert integers to floats
        case _:
            return entry  # Keep other cases as-is

在此範例中，模式匹配簡化了在單一函數中處理不同資料情況的過程，減少了多次 if-elif 檢查的需要。

範例 2：資料分類

模式匹配的另一個有用的應用是資料分類。假設您有一個資料集，其中每筆記錄都有一組屬性，可以幫助將資料分類，例如產品類型、風險等級或客戶群。模式匹配可讓您輕鬆地根據屬性模式對記錄進行分類。

例如，如果您想根據客戶的消費模式對客戶資料進行分類，您可以使用模式匹配來定義這些類別：

def categorize_customer(spending):
    match spending:
        case {"amount": amount} if amount > 1000:
            return "High spender"
        case {"amount": amount} if 500 < amount <= 1000:
            return "Medium spender"
        case {"amount": amount} if amount <= 500:
            return "Low spender"
        case _:
            return "Unknown category"

這種方法可以讓您快速應用基於規則的分類，使您的程式碼更加模組化和可讀。

範例 3：將 JSON 對應到 DataFrame

JSON 資料通常是嵌套的和分層的，直接使用可能具有挑戰性。模式匹配使遍歷和重塑 JSON 結構變得容易，允許將資料直接對應到 pandas DataFrames。考慮以下範例：

def clean_entry(entry):
    match entry:
        case None:
            return "Missing"
        case str(date) if date.isdigit():
            return f"2023-{date[:2]}-{date[2:]}"  # Convert YYMMDD to YYYY-MM-DD
        case int(value):
            return float(value)  # Convert integers to floats
        case _:
            return entry  # Keep other cases as-is

函數根據特定模式處理 JSON 條目，然後將其轉換為結構化 DataFrame。模式匹配可確保僅提取相關數據，從而節省手動轉換的時間。

在這些範例中，模式匹配簡化了資料清理、分類和轉換任務，使其成為任何資料分析師或工程師的寶貴工具。在下一節中，我們將探討推導式以及它們如何進一步簡化資料操作任務。

使用列表、集合和字典推導式

推導式是 Python 最強大的功能之一，它允許簡潔、可讀的表達式來簡化資料處理任務。列表、集合和字典理解使分析師能夠快速過濾、轉換和聚合數據，所有這些都在一行程式碼中完成。在處理大型資料集或重複轉換時，推導式可以顯著減少您編寫的程式碼量，使其更易於閱讀和維護。

資料分析中推導式的用例

以下是推導式的一些常見應用，可以大大增強您的資料操作工作流程。

數據過濾

資料過濾是分析中的常見任務，尤其是在刪除異常值或隔離滿足特定條件的記錄時。列表推導式提供了一種有效過濾資料的簡單方法。假設您有一個交易金額清單並希望隔離超過 500 美元的交易：

def categorize_customer(spending):
    match spending:
        case {"amount": amount} if amount > 1000:
            return "High spender"
        case {"amount": amount} if 500 < amount <= 1000:
            return "Medium spender"
        case {"amount": amount} if amount <= 500:
            return "Low spender"
        case _:
            return "Unknown category"

這個單行程式碼只需一步即可實現傳統循環需要幾行程式碼的效果。推導式可以輕鬆快速過濾數據，而不會增加太多複雜性。

資料轉換

轉換數據，例如更改格式或將函數應用於每個元素，是另一個常見需求。假設您有一份美元價格清單，並希望以 1 美元 = 0.85 歐元的匯率將其轉換為歐元。列表推導式讓您可以輕鬆套用轉換：

import pandas as pd

def json_to_dataframe(json_data):
    rows = []
    for entry in json_data:
        match entry:
            case {"id": id, "attributes": {"name": name, "value": value}}:
                rows.append({"ID": id, "Name": name, "Value": value})
            case {"id": id, "name": name}:
                rows.append({"ID": id, "Name": name, "Value": None})
            case _:
                pass  # Ignore entries that don't match any pattern
    return pd.DataFrame(rows)

這種方法不僅簡潔而且高效，非常適合整個資料集的快速轉換。

字典聚合

推導式對於將資料聚合到字典中也非常有效，這有助於對資料進行分類或建立快速摘要。例如，假設您有一個包含產品名稱及其銷售額的元組清單。您可以使用字典理解將它們聚合成字典格式：

def clean_entry(entry):
    match entry:
        case None:
            return "Missing"
        case str(date) if date.isdigit():
            return f"2023-{date[:2]}-{date[2:]}"  # Convert YYMMDD to YYYY-MM-DD
        case int(value):
            return float(value)  # Convert integers to floats
        case _:
            return entry  # Keep other cases as-is

此推導式依產品彙總銷售額，提供每種產品的總銷售額摘要，無需多個循環或中間資料結構。

設定唯一值的推導式

如果您需要從資料集中提取唯一值，集合推導式可以提供快速且乾淨的解決方案。假設您有一個包含重複條目的資料集，並且想要一個唯一客戶 ID 的清單：

def categorize_customer(spending):
    match spending:
        case {"amount": amount} if amount > 1000:
            return "High spender"
        case {"amount": amount} if 500 < amount <= 1000:
            return "Medium spender"
        case {"amount": amount} if amount <= 500:
            return "Low spender"
        case _:
            return "Unknown category"

此集合理解會自動刪除重複項，確保每個 ID 在輸出中僅出現一次。

複雜轉換的嵌套推導式

在某些情況下，資料集可能包含需要多層轉換的巢狀結構。嵌套推導式可讓您展平這些結構或在每個層級上套用轉換。例如，如果您有一個代表調查回應的清單清單並且想要標準化數據，您可以使用嵌套理解：

import pandas as pd

def json_to_dataframe(json_data):
    rows = []
    for entry in json_data:
        match entry:
            case {"id": id, "attributes": {"name": name, "value": value}}:
                rows.append({"ID": id, "Name": name, "Value": value})
            case {"id": id, "name": name}:
                rows.append({"ID": id, "Name": name, "Value": None})
            case _:
                pass  # Ignore entries that don't match any pattern
    return pd.DataFrame(rows)

此範例對巢狀清單中的每個單獨分數套用轉換，從而實現所有回應的一致標準化。

推導式是任何資料分析師工具包中的強大工具，提供了一種快速的方法來處理重複的資料轉換、過濾資料和建立匯總統計資料。在下一節中，我們將探索如何將模式匹配和理解結合起來，以實現更有效的資料操作工作流程。

結合模式匹配和理解的高級範例

一起使用時，模式匹配和推導式可實現更強大的資料操作工作流程，使您能夠處理複雜的轉換、分析嵌套資料結構，並以簡潔、可讀的方式應用條件邏輯。在本節中，我們將探討一些進階範例，展示這兩個功能之間的協同作用。

複雜的資料轉換

假設您有一個包含不同類型記錄的資料集，並且您希望根據每種記錄類型執行不同的轉換。透過結合模式匹配和推導式，您可以一步有效地對每個條目進行分類和轉換。

例如，想像一個混合記錄的資料集，其中每個條目可以是數字、數字列表或具有數值的字典。結合使用模式匹配和理解，您可以在一行中處理此資料集：

transactions = [100, 250, 600, 1200, 300]
high_value_transactions = [t for t in transactions if t > 500]
# Output: [600, 1200]

在此範例中，使用條件式和推導式以不同方式處理每種類型的條目，使您能夠乾淨地轉換混合資料類型。

嵌套資料操作

在處理 JSON 檔案等深層巢狀資料結構時，結合模式比對和巢狀理解可以簡化資料擷取和轉換。想像一個資料集，其中每個條目都是一個嵌套字典，其中包含有關使用者的信息，包括他們的愛好。你想要提取並扁平化這些愛好進行分析。

def clean_entry(entry):
    match entry:
        case None:
            return "Missing"
        case str(date) if date.isdigit():
            return f"2023-{date[:2]}-{date[2:]}"  # Convert YYMMDD to YYYY-MM-DD
        case int(value):
            return float(value)  # Convert integers to floats
        case _:
            return entry  # Keep other cases as-is

在此範例中，我們使用嵌套推導式直接存取每個使用者的愛好，將它們提取並展平到單一清單中。將推導式與結構化資料擷取結合可以節省時間並簡化程式碼的可讀性。

使用最少的程式碼應用條件轉換

有時，您可能希望根據資料模式有條件地套用轉換。假設您有一個交易資料集，其中每筆交易都有金額和類型。使用帶有推導式的模式匹配，您可以根據交易類型輕鬆應用不同的轉換。

def categorize_customer(spending):
    match spending:
        case {"amount": amount} if amount > 1000:
            return "High spender"
        case {"amount": amount} if 500 < amount <= 1000:
            return "Medium spender"
        case {"amount": amount} if amount <= 500:
            return "Low spender"
        case _:
            return "Unknown category"

在此範例中，貸方增加 5%，而藉方減少 5%。透過將模式比對邏輯與推導式結合，您可以在一個步驟中套用這些條件轉換，從而建立一個乾淨、可讀的轉換管道。

基於模式匹配的總結統計

在某些情況下，您可能需要根據資料中的模式計算統計資料。假設您有一個事件日誌，每個事件都有不同的狀態，並且您想要計算每種狀態類型的計數。使用模式比對和字典理解，您可以有效地建立每種事件類型的摘要。

import pandas as pd

def json_to_dataframe(json_data):
    rows = []
    for entry in json_data:
        match entry:
            case {"id": id, "attributes": {"name": name, "value": value}}:
                rows.append({"ID": id, "Name": name, "Value": value})
            case {"id": id, "name": name}:
                rows.append({"ID": id, "Name": name, "Value": None})
            case _:
                pass  # Ignore entries that don't match any pattern
    return pd.DataFrame(rows)

在此範例中，我們使用集合理解從事件日誌中收集唯一狀態。然後，透過字典理解，我們透過匹配資料集中的模式來計算每種狀態類型的出現次數。這種方法很簡潔，並且利用推導式和基於模式的邏輯來有效地產生摘要。

性能考慮因素

雖然模式匹配和理解為資料處理任務帶來了效率和可讀性，但必須考慮它們的效能影響，尤其是在處理大型資料集時。了解何時以及如何使用這些功能可以幫助您編寫在可讀性與速度之間取得平衡的最佳程式碼。

理解的效率

列表、集合和字典理解通常比傳統循環更快，因為它們在 Python 解釋器層級進行了最佳化。但是，在處理非常大的資料集時，您可能會遇到記憶體限制，因為推導式會在記憶體中建立整個資料結構。在這種情況下，生成器表達式（使用括號而不是方括號）可以是節省記憶體的替代方案，特別是在迭代大數據而不需要一次儲存所有元素時。

有生成器表達式的範例：

def clean_entry(entry):
    match entry:
        case None:
            return "Missing"
        case str(date) if date.isdigit():
            return f"2023-{date[:2]}-{date[2:]}"  # Convert YYMMDD to YYYY-MM-DD
        case int(value):
            return float(value)  # Convert integers to floats
        case _:
            return entry  # Keep other cases as-is

此處使用生成器可以讓您即時處理每個元素，而無需在內存中創建大型列表，這使其非常適合海量數據集。

大型資料集中的模式匹配

模式匹配對於條件分支和處理不同的資料結構非常有效，但對於複雜的巢狀資料或高度條件模式，效能可能會受到影響。在這些情況下，請嘗試：

• 簡化模式：使用最小和特定的模式進行匹配，而不是廣泛的情況，因為較少的分支可以提高匹配速度。
• 避免深度嵌套：深度嵌套的模式會增加匹配的複雜性。處理深度結構化資料時，如果可能，請考慮將其預處理為更扁平的結構。
• 批次：如果您需要在大型資料集中匹配模式，請考慮批次處理資料。這種方式可以防止記憶體使用過多，提高快取效率。

在處理不同的資料結構或多個條件情況時，模式匹配是一個很有價值的工具。但是，對於更簡單的條件邏輯，傳統的 if-elif 語句可能會提供更好的效能。透過保持模式簡單並在必要時使用批次處理，即使在大型資料集中，您也可以有效地利用模式匹配。

在模式匹配和傳統方法之間進行選擇

模式匹配很強大，但它並不總是最有效的選擇。在簡單的條件（if-elif 語句）就足夠的情況下，傳統方法由於開銷較小，可能會更快。當您需要處理多種情況或使用嵌套結構時，請使用模式匹配，但為簡單的條件保留更簡單的結構以保持速度。

組合功能以獲得最佳效能

結合推導式和模式匹配時，請記住：

• 限制資料結構大小：如果沒有必要，請避免使用推導式建立大型中間資料結構。
• 利用生成器進行串流資料：透過模式匹配處理大型資料集時，請在推導式中或直接在模式匹配邏輯中使用生成器，以實現記憶體高效處理。

概括

模式匹配和理解是編寫清晰高效程式碼的強大功能，但在效能關鍵型應用程式中需要謹慎使用。透過了解如何有效地使用這些功能，資料分析師和工程師可以最大限度地發揮其效用，同時保持程式碼效能最佳。

結論

Python 的模式匹配和理解功能提供了一種處理複雜資料轉換、條件邏輯和資料過濾的有效方法。透過利用這些工具，資料分析師和工程師可以編寫更清晰、更簡潔的程式碼，不僅更易於閱讀，而且在許多情況下執行速度更快。模式匹配簡化了處理不同的資料結構和巢狀格式，使其成為處理 JSON 檔案、字典和混合類型記錄的理想選擇。同時，推導式簡化了過濾、轉換和聚合任務，所有這些都在單行表達式內。

一起使用時，這些功能可實現強大的資料操作工作流程，使您能夠有效地處理具有複雜結構或條件需求的大型資料集。然而，與任何工具一樣，必須考慮效能和記憶體影響，尤其是在處理非常大的資料集時。透過結合生成器表達式和批次等策略，您可以進行模式匹配和比較

• 部落格：什麼是 Data Lakehouse 和表格式？
• Apache Iceberg 權威指南的免費副本
• 免費 Apache Iceberg 速成課程
• Lakehouse目錄課程
• 冰山湖屋工程影片播放清單

以上是利用 Python 的模式匹配和理解進行資料分析的詳細內容。更多資訊請關注PHP中文網其他相關文章！