推荐用 pandas.concat 一次性合并多个 csv 文件，避免循环 read_csv + append 导致的 o(n²) 时间复杂度；实操需统一 header、显式指定 names 和 encoding，大文件用 chunksize 流式处理，超大数据优先选 pyarrow.dataset。
用 pandas.concat 而不是循环 read_csv + append
循环调用 df.append()（或已弃用的 pd.append()）是常见误区：每次调用都复制整个 DataFrame，时间复杂度接近 O(n²)，10 个 10MB 文件可能卡住数分钟。pandas.concat 是唯一推荐方式——它把所有 DataFrame 一次性堆叠，底层用 NumPy 预分配内存，快 5–20 倍。
实操建议：
- 先用
glob.glob("*.csv")或pathlib.Path(".").glob("*.csv")收集路径，避免手动列文件名 - 对每个路径用
pd.read_csv(f, usecols=..., dtype=...)提前裁剪列、指定类型，减少内存占用和解析开销 - 把所有
DataFrame存进列表，再一次性传给pd.concat(dfs, ignore_index=True, sort=False) - 加
sort=False禁用列名自动排序（尤其当各 CSV 列顺序不一致时），否则会多一次列重排
跳过表头、自动推断列名失败时用 header=0 和 names
多个 CSV 表头不统一（有的带 BOM，有的缺列，有的首行是空行）会导致 pd.concat 合并后出现错位或 NaN。直接依赖 header="infer" 很危险。
实操建议：
- 统一用
header=0强制第一行为列名，再用names=expected_cols显式覆盖（如果列名已知） - 若列名不全一致，先读一个样本文件：
pd.read_csv(files[0], nrows=1)获取真实列名，再用该结果作为names参数传给后续所有read_csv - 遇到编码错误（如
UnicodeDecodeError），别硬试 utf-8，改用encoding="utf-8-sig"自动处理 BOM，或encoding="latin1"保底兜底
大文件合并内存爆掉？用 chunksize 流式拼接
单个 CSV 就几百 MB，或总数据超物理内存时，pd.read_csv 一次性加载会触发 MemoryError。这时不能靠“增大交换空间”这种权宜之计。
快速生成专业的 Python 脚本和应用代码。一键创建完整项目结构，支持CLI、API、爬虫、Bot、Django等多种项目类型，包含完整的项目结构、配置文件、依赖管理、测试、README和文档。
实操建议：
- 用
chunksize=50000（根据 RAM 调整）分块读取，每块concat进临时结果，再to_csv(..., mode="a", header=False)追加写入输出文件 - 不要在内存中累积所有 chunk：读一块、处理一块、写一块，峰值内存只取决于单块大小
- 注意首次写入要保留
header=True，后续追加必须设header=False，否则 CSV 里会出现多套表头 - 如果需去重或排序，放到最后用
sort_values或drop_duplicates单次处理，别在每块里重复做
pyarrow + dataset 是真正意义上的“极速”方案
当 CSV 总量超 10GB、列数多、字符串多，纯 pandas 已到瓶颈。pyarrow 的 dataset 接口能绕过 Python 层解析，直接用 C++ 扫描磁盘文件，合并速度常比 pandas 快 3–8 倍，且内存占用低得多。
实操建议：
- 安装：
pip install pyarrow（确保 >= 12.0） - 代码极简：
import pyarrow.dataset as ds<br>dataset = ds.dataset("path/to/csvs/", format="csv")<br>table = dataset.to_table() # 返回 pyarrow.Table<br>df = table.to_pandas() # 按需转 pandas - 支持通配符路径（如
"data/*.csv"）、自动 schema 推断、列投影（columns=["a","b"]）、谓词下推（filter=ds.field("x") > 100） - 缺点：对损坏 CSV 容错弱于 pandas（比如某行引号不闭合会直接报错），上线前务必用小样本验证
最易被忽略的是列类型一致性——哪怕只是某个 CSV 里一列混了数字和空字符串，pyarrow 可能推成 string，而 pandas 推成 object，后续计算行为完全不同。合并前用 pd.api.types.infer_dtype 或 pa.Schema 显式校验几列样本，比事后 debug 强十倍。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
