如何高效合并多个CSV文件：避免列表追加，直接批量读取与连接-Python教程-PHP中文网

如何高效合并多个CSV文件：避免列表追加，直接批量读取与连接

本文介绍一种更高效的CSV文件批量合并策略，通过避免频繁的list.append()操作和单次pd.concat()调用，改用分批惰性读取或两两归并方式，显著降低内存抖动与运行时开销，特别适用于每8个小型CSV（6列×5行）需合并一次的模型评估场景。

本文介绍一种更高效的csv文件批量合并策略，通过避免频繁的`list.append()`操作和单次`pd.concat()`调用，改用分批惰性读取或两两归并方式，显著降低内存抖动与运行时开销，特别适用于每8个小型csv（6列×5行）需合并一次的模型评估场景。

在您的当前实现中，使用 data.append(data_value) 将每个 pd.DataFrame 逐个加入 Python 列表，再统一调用 pd.concat(data)，看似简洁，实则存在两个关键性能瓶颈：

内存冗余：每次 append() 都会触发列表动态扩容（可能伴随内存拷贝），而每个 DataFrame 本身已含独立内存块，导致对象引用与底层数据双重开销；
concat 低效性：pd.concat() 在输入为长列表时需预分配目标内存并多次拷贝，尤其当列表长度达数十甚至上百时，时间复杂度接近 O(n²)。

✅ 推荐优化方案：分批生成器 + 单次 concat

不累积中间列表，而是用生成器按需读取、即时拼接。结合您“每8个文件合并一次”的业务逻辑，可精准控制批次：

import pandas as pd
import os
from pathlib import Path

def batch_concat_csv(file_paths, batch_size=8, **read_csv_kwargs):
    """
    按指定批次大小读取并合并CSV文件，返回DataFrame生成器（每批一个）
    """
    for i in range(0, len(file_paths), batch_size):
        batch = file_paths[i:i + batch_size]
        # 使用 pd.concat + 生成器表达式，避免中间列表
        df_batch = pd.concat(
            (pd.read_csv(fp, **read_csv_kwargs) for fp in batch),
            ignore_index=True,
            sort=False
        )
        yield df_batch

# 示例：收集所有CSV路径（替代 os.walk 的嵌套循环）
csv_files = []
for root, _, files in os.walk("your_root_dir"):
    for file in files:
        if file.endswith(".csv"):
            csv_files.append(os.path.join(root, file))

# 每8个文件合并为一个DataFrame，并保存
for idx, combined_df in enumerate(batch_concat_csv(
    csv_files, 
    batch_size=8,
    sep='\t',
    header=0  # 显式指定，避免自动推断开销
)):
    output_path = f"merged_batch_{idx+1:03d}.csv"
    combined_df.to_csv(output_path, index=False, sep='\t')
    print(f"✓ Saved {output_path} ({len(combined_df)} rows)")

? 进阶建议：两两归并（适合超大批量或内存受限场景）
若文件总数极大（如 >1000），或需流式写入磁盘以节省内存，可采用“归并排序式”两两合并策略：

第一轮：file1+file2 → temp1, file3+file4 → temp2, …
第二轮：temp1+temp2 → temp1_2, temp3+temp4 → temp3_4, …
依此类推，直至只剩一个文件

该方式将内存峰值稳定在 2×单文件内存，且磁盘IO可异步化。注意：无需递归函数——用循环+临时目录管理即可，避免栈溢出与状态混乱。

QuickBooks Mileage CSV

使用 qbo-mileage CLI 及用户凭证，从 Airtable、Outlook 或 Google Calendar 记录生成 QuickBooks Online 里程 CSV 文件。

下载

⚠️ 关键注意事项

始终显式传入 header=0 和 sep='\t' 等参数，禁用 pd.read_csv 的自动类型推断（infer_datetime_format=False, low_memory=False）；
若所有CSV结构完全一致（同列名、同类型），添加 dtype 参数可进一步提速；
对于仅6×5的小文件，pd.read_csv 本身开销占比高，可考虑 numpy.loadtxt 或 csv.reader + pd.DataFrame 构造，但需权衡开发成本；
使用 Path 替代 os.path 提升路径可读性与跨平台健壮性。