首页 >后端开发 >Python教程 >如何将多个 CSV 文件合并到单个 Pandas DataFrame 中?

如何将多个 CSV 文件合并到单个 Pandas DataFrame 中?

DDD
DDD原创
2024-12-21 06:12:11271浏览

How to Combine Multiple CSV Files into a Single Pandas DataFrame?

将多个 CSV 文件串联成一个 DataFrame

将多个 CSV 文件导入 pandas 并将它们串联成一个大 DataFrame 可以使用以下步骤:

  1. 阅读CSV 文件: 使用 glob.glob() 获取指定目录下所有 CSV 文件的列表。然后,使用 pd.read_csv() 读取每个 CSV 文件,并将生成的 DataFrame 存储在列表中。
import glob
import pandas as pd

# Get data file names
path = r'C:\DRO\DCL_rawdata_files'
filenames = glob.glob(path + "/*.csv")

dfs = []
for filename in filenames:
    dfs.append(pd.read_csv(filename))
  1. 连接 DataFrame: 使用 pd。 concat() 将列表中的所有 DataFrame 连接成一个 DataFrame。设置ignore_index=True以避免连接时出现索引冲突。
# Concatenate all data into one DataFrame
big_frame = pd.concat(dfs, ignore_index=True)

其他注意事项:

  • 确保所有 CSV 文件具有相同的列成功串联。
  • 如果 CSV 文件具有不同的列名称或格式,考虑在连接之前使用额外的预处理步骤来对齐它们。
  • 要识别每个数据样本,请向 DataFrame 添加一个新列,其中包含文件名或唯一标识符等信息。

以上是如何将多个 CSV 文件合并到单个 Pandas DataFrame 中?的详细内容。更多信息请关注PHP中文网其他相关文章!

声明:
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn