Python如何高效地将大规模字典列表写入CSV文件？-Python教程-PHP中文网

用csv.DictWriter流式写入字典列表可避免内存爆炸，内存仅占单行大小，速度提升3–5倍；需显式指定fieldnames、newline=''和encoding='utf-8'，并合理设置缓冲与flush策略。

python如何高效地将大规模字典列表写入csv文件？

内存爆炸和速度慢，基本都源于把整个字典列表先转成 DataFrame。千万级数据下，pandas 会复制数据、推断类型、构建索引，开销远超纯 CSV 写入本身。直接用标准库 csv.DictWriter 流式写入，内存只占用单行字典大小，速度提升 3–5 倍是常态。

DictWriter 要求所有字典有相同 key 集合；如果字段不齐，提前补 None 或空字符串，否则会报 ValueError: dict contains fields not in fieldnames
务必显式指定 newline='' 给 open()，否则 Windows 下每行多一个空行
用 writeheader() 仅需调一次，不要在循环里重复调
若字段含换行符、逗号或双引号，csv 模块默认用双引号包裹并转义，无需手动处理

Python 3.7+ 虽保证字典有序，但 DictWriter 不自动读取首条字典的 key 顺序——它只按你传入的 fieldnames 列表顺序写列。如果漏传或顺序不对，CSV 表头和数据列就错位，且不易察觉。

安全做法：从第一个字典取 key，转成 list 并固定顺序：fieldnames = list(data[0].keys())
若字段有业务含义（如 'user_id' 必须在前），别依赖原始字典顺序，显式构造 fieldnames = ['user_id', 'name', 'created_at']
遇到某些字典缺字段，DictWriter 默认写空字符串；如需写 NULL 或其他占位符，初始化时加参数 restval='NULL'

默认文件写入带缓冲，小数据看不出问题，但百万级以上记录容易卡在缓冲区没刷出，看起来“卡住”或进程假死。同时频繁 flush() 又太重，得平衡。

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

打开文件时加 buffering=8192（或更大，如 65536），避免系统频繁调度小块 I/O
绝对不要在每行后调 file.flush()；改用累计一定行数后 flush，比如每 10000 行：if i % 10000 == 0: csvfile.flush()
确认输出路径所在磁盘不是高延迟设备（如网络挂载盘、老旧机械硬盘），本地 SSD 是基础保障
如果字段含大量 Unicode（如中文、emoji），用 encoding='utf-8-sig' 避免 Excel 打开乱码，但注意这会多写 3 字节 BOM，不影响解析

这是 Windows 默认控制台/记事本编码（cp1252）打不开 UTF-8 文件的典型报错，不是数据问题，是文件打开方式错了。

必须显式指定 encoding='utf-8'（Linux/macOS 可省略，但跨平台务必加上）
别用 open(filename, 'w') 这种裸写法；正确写法：open(filename, 'w', newline='', encoding='utf-8')
如果下游必须用 Excel 打开且显示正常，用 encoding='utf-8-sig'，它会在文件开头加 BOM，Excel 才能自动识别 UTF-8
检查字典值里有没有控制字符（如 \x00），CSV 规范不支持，写入前用 value.replace('\x00', '') 清洗

实际写入逻辑最简骨架就是：先开文件、建 DictWriter、写 header、循环 writerow()。真正卡点不在语法，而在字段一致性、编码设定、缓冲策略这三处——漏一个，大规模写入就可能失败或结果异常。