如何有效地將多個 CSV 檔案合併到單一 Pandas DataFrame 中？

讀取多個CSV 檔案並將其合併到單一DataFrame

問題場景

任務是將多個CSV 檔案從一個目錄讀取取到pandas 中，並將它們組合成一個DataFrame。

pandas方法

Pandas 提供了連接多個資料幀的直覺方法：

• pd.concat(dfs,ignore_index=True)：垂直連接資料幀，忽略原始索引。

實作

實現為了獲得所需的結果，每個 CSV 檔案都會被讀入資料幀。然後使用 concat 方法將這些單獨的資料幀連接成單一綜合資料幀。

程式碼片段：

import glob
import pandas as pd

path = r'C:\DRO\DCL_rawdata_files'
filenames = glob.glob(path + "/*.csv")

dfs = []
for filename in filenames:
    dfs.append(pd.read_csv(filename, header=0))

big_frame = pd.concat(dfs, ignore_index=True)

print(big_frame)

附加註解

• 確保所有CSV 檔案具有相同的列，因為concat 需要統一的列結構。
• 考慮新增一列來識別每個資料來源，以實現可追溯性。
• 利用 pathlib 獲得更進階的檔案處理功能。

以上是如何有效地將多個 CSV 檔案合併到單一 Pandas DataFrame 中？的詳細內容。更多資訊請關注PHP中文網其他相關文章！