如何有效地将多个 CSV 文件合并到单个 Pandas DataFrame 中？

读取多个 CSV 文件并将其合并到单个 DataFrame

问题场景

任务是将多个 CSV 文件从一个目录读取到 pandas 中，并将它们组合成一个 DataFrame。

pandas方法

Pandas 提供了连接多个数据帧的直观方法：

• pd.concat(dfs,ignore_index=True)：垂直连接数据帧，忽略原始索引。

实施

实现为了获得所需的结果，每个 CSV 文件都会被读入数据帧。然后使用 concat 方法将这些单独的数据帧连接成单个综合数据帧。

代码片段：

import glob
import pandas as pd

path = r'C:\DRO\DCL_rawdata_files'
filenames = glob.glob(path + "/*.csv")

dfs = []
for filename in filenames:
    dfs.append(pd.read_csv(filename, header=0))

big_frame = pd.concat(dfs, ignore_index=True)

print(big_frame)

附加注释

• 确保所有 CSV 文件具有相同的列，因为 concat 需要统一的列结构。
• 考虑添加一列来标识每个数据源，以实现可追溯性。
• 利用 pathlib 获得更高级的文件处理功能。

以上是如何有效地将多个 CSV 文件合并到单个 Pandas DataFrame 中？的详细内容。更多信息请关注PHP中文网其他相关文章！