CSV(逗號分隔值)檔案廣泛用於以簡單格式儲存和交換資料。在許多資料處理任務中,需要基於特定列合併兩個或多個CSV檔案。幸運的是,這可以使用 Python 中的 Pandas 函式庫輕鬆實現。
在本文中,我們將學習如何使用 Python 中的 Pandas 以特定列合併兩個 CSV 檔案。
Pandas 是一個用於 Python 資訊控制和檢查的開源程式庫。它提供了用於處理結構化資料(例如表格、時間序列和多維資料)以及高效能資料結構的工具。 Pandas 廣泛應用於金融、資料科學、機器學習和其他需要資料操作的領域。
以下是使用 Pandas 函式庫在 Python 中按特定列合併兩個 CSV 檔案的完整步驟 -
合併兩個 CSV 檔案的第一步是匯入 pandas 庫。 Pandas 是一個強大的 Python 資料分析函式庫。它提供了用於有效儲存和操作大型資料集的資料結構。要使用 Pandas,我們首先需要將其匯入到 Python 程式中。我們可以使用以下命令來做到這一點 -
import pandas as pd
我們的下一步是讀取我們想要合併的兩個 CSV 檔案。我們可以使用 Pandas 的 read_csv() 函數將 CSV 檔案讀取到 Pandas DataFrame 中。我們需要提供 CSV 檔案的檔案路徑或 URL 作為 read_csv() 函數的參數。例如 -
df1 = pd.read_csv('file1.csv') df2 = pd.read_csv('file2.csv')
將 CSV 檔案讀入 Pandas DataFrames 後,現在是時候使用 merge() 函數根據特定列合併它們了。 merge() 函數將兩個 DataFrame 作為輸入,並基於公共列將它們合併。這是基本語法 -
merged_df = pd.merge(df1, df2, on='column_name')
在此範例中,merged_df 是新的 DataFrame,其中包含 df1 和 df2 的合併資料。 on 參數指定合併兩個 DataFrame 的公用列的名稱。
例如,假設我們有兩個 CSV 檔案 sales.csv 和customers.csv。這兩個檔案都包含名為 CustomerID 的欄位。我們希望根據 CustomerID 欄位合併兩個檔案。我們可以這樣做 -
sales = pd.read_csv('sales.csv') customers = pd.read_csv('customers.csv') merged_df = pd.merge(sales, customers, on='CustomerID')
根據特定列合併兩個 CSV 檔案時,合併後的 DataFrame 中可能會缺少值。如果其中一個 CSV 檔案的對應欄位中沒有符合的值,則可能會出現這些缺失值。
為了處理缺失值,我們可以使用 Pandas 的 fillna() 函數將其替換為預設值或計算值。例如,我們可以使用以下程式碼將缺失值替換為字串“Unknown” -
merged_df.fillna('Unknown', inplace=True)
在這個範例中,我們使用 fillna() 函數將合併的 DataFrame 中的缺失值替換為字串「Unknown」。我們也指定了 inplace 參數為 True,這表示將修改原始 DataFrame,而不是建立新的 DataFrame。
在此範例中,我們將使用 Pandas 的 merge() 函數根據特定列合併兩個 CSV 檔案。
CSV Files
假設我們有兩個 CSV 檔案:employees.csv 和 Departments.csv。 Employees.csv 檔案包含以下資料 -
員工ID | 姓名 | 部門ID | 薪資 |
---|---|---|---|
1 | 約翰 | 1 | 50000 |
2 | 莎拉 | 2 | 60000 |
3 | 大衛 | 1 | 55000 |
4 | 亞歷克斯 | 3 | 65000 |
5 | 艾米麗 | 2 | 55000 |
departments.csv 檔案包含以下資料 -
部門ID | 部門名稱 |
---|---|
1 | IT |
2 | 銷售 |
3 | 行銷 |
4 | 人力資源 |
import pandas as pd # Load CSV Files employees = pd.read_csv('employees.csv') departments = pd.read_csv('departments.csv') # Merge dataframes based on DepartmentID column merged_df = pd.merge(employees, departments, on='DepartmentID') # Print merged dataframe print(merged_df.head()) # Save merged dataframe to a new CSV file merged_df.to_csv('merged_employees_departments.csv', index=False)
EmployeeID Name DepartmentID Salary DepartmentName 0 1 John 1 50000 IT 1 3 David 1 55000 IT 2 2 Sarah 2 60000 Sales 3 5 Emily 2 55000 Sales 4 4 Alex 3 65000 Marketing
在本例中,我们将使用 Pandas 的 join() 方法根据特定列合并两个 CSV 文件。
CSV Files
假设我们有两个 CSV 文件:orders.csv 和customers.csv。 order.csv 文件包含以下数据 -
订单ID | 客户ID | 订单日期 | 总金额 |
---|---|---|---|
1 | 1 | 2022-05-01 | 100.0 |
2 | 3 | 2022-05-02 | 150.0 |
3 | 2 | 2022-05-03 | 200.0 |
4 | 1 | 2022-05-04 | 75.0 |
5 | 4 | 2022-05-05 | 120.0 |
customers.csv 文件包含以下数据 -
客户ID | 客户名称 | 电子邮件 |
---|---|---|
1 | 约翰 | john@example.com |
2 | 莎拉 | sarah@example.com |
3 | 大卫 | david@example.com |
4 | 艾米丽 | emily@example.com |
import pandas as pd # Load CSV files orders = pd.read_csv('orders.csv') customers = pd.read_csv('customers.csv') # Join dataframes based on CustomerID column joined_df = orders.set_index('CustomerID').join(customers.set_index('CustomerID')) # Print joined dataframe print(joined_df.head()) # Save joined dataframe to a new CSV file joined_df.to_csv('joined_orders_customers.csv')
OrderID OrderDate TotalAmount CustomerName Email CustomerID 1 1 2022-05-01 100.0 John john@example.com 1 4 2022-05-04 75.0 John john@example.com 2 3 2022-05-03 200.0 Sarah sarah@example.com 3 2 2022-05-02 150.0 David david@example.com 4 5 2022-05-05 120.0 Emily emily@example.com
使用 Pandas 的 merge() 函数,我们根据本例中的“id”列合并了两个 CSV 文件。作为合并两个 CSV 文件的结果的 DataFrame 除了“name_x”、“email_x”、“name_y”和“email_y”列之外还包括“id”列。
请注意,“name_y”和“email_y”段的组合 DataFrame 中缺少值,这些值与第二个 CSV 记录中没有匹配质量的行相关。如上一步所示,Pandas fillna() 和 dropna() 函数可用于处理这些缺失值。
基于特定列合并两个 CSV 文件是一项常见的数据处理任务,可以使用 Python 中的 Pandas 库轻松实现。在本文中,我们学习了如何使用 Pandas 的 merge() 函数合并两个 CSV 文件。我们还讨论了如何处理缺失值以及如何将合并的 DataFrame 保存到新的 CSV 文件。
以上是如何使用Python中的Pandas以特定列合併兩個CSV檔案?的詳細內容。更多資訊請關注PHP中文網其他相關文章!