
本文介绍一种简洁、健壮的方式,动态加载并合并任意数量的 csv 文件对应 dataframe,自动跳过缺失文件,避免 unboundlocalerror,并统一提取交集列后拼接。
本文介绍一种简洁、健壮的方式,动态加载并合并任意数量的 csv 文件对应 dataframe,自动跳过缺失文件,避免 unboundlocalerror,并统一提取交集列后拼接。
在实际数据处理中,常需合并来自多个源(如 file1.csv、file2.csv、file3.csv)的 DataFrame,但这些文件可能部分缺失。若直接按固定变量名(如 df_1, df_2, df_3)编写逻辑,极易因某文件不存在导致 UnboundLocalError: local variable 'df_2' referenced before assignment —— 这是因为条件未满足时变量根本未声明。
更优解是摒弃硬编码变量,改用列表容器统一管理所有有效 DataFrame。核心思路分三步:
-
批量检查 + 动态加载:将文件路径与对应列名配对,仅对存在的文件执行
pd.read_csv(); -
安全求列交集:使用
set.intersection(*iterable)对所有已加载 DataFrame 的列名求交集(空列表时需兜底); -
列对齐后拼接:对每个 DataFrame 仅保留交集列,再用
pd.concat()合并。
以下是推荐实现:
import pandas as pd
import os
# 配置文件路径与对应列名
files = [file1, file2, file3]
headers = [header_1, header_2, header_3]
# ✅ 安全加载:仅读取存在的文件,跳过缺失项
dfs = [
pd.read_csv(f, header=None, names=h, sep=',', index_col=None)
for f, h in zip(files, headers)
if os.path.exists(f)
]
# ✅ 安全求交集列:若无有效 DataFrame,返回空 DataFrame
if dfs:
# 将每个 df.columns 转为 set,再用 * 解包求交集
common_columns = set.intersection(*(set(df.columns) for df in dfs))
# 按交集列筛选并拼接(list(common_columns) 确保列序稳定)
concatenated_df = pd.concat(
[df[list(common_columns)] for df in dfs],
ignore_index=True
)
else:
concatenated_df = pd.DataFrame() # 返回空表,保持类型一致
关键优势说明:
-
无重复逻辑:通过列表推导式和
zip消除冗余if块,扩展至 N 个文件也无需修改结构; -
强健容错:
dfs列表天然容纳 0–N 个元素,后续操作均基于其长度判断,彻底规避未定义变量错误; -
列交集高效:
set.intersection(*...)比链式.intersection()更灵活,支持任意数量集合; -
类型安全:即使无任何输入文件,
concatenated_df仍为pd.DataFrame,便于下游统一处理。
注意事项:
- 若需保留原始索引,请移除
ignore_index=True; - 列名不一致时,交集结果可能为空——建议加载前校验
headers是否合理; - 大文件场景下,可添加
usecols参数预过滤列,提升 I/O 效率。
该方案兼顾可读性、可维护性与鲁棒性,是生产环境中处理“可选多源数据合并”的标准实践。










