Python的dict和list对象内存开销大,因含哈希表、引用计数、类型指针等元数据,单个dict至少240+字节,list存8字节指针且预分配冗余空间,字符串重复解析不去重,嵌套加深导致元数据叠加,使500MB JSON数组解析后内存飙升至2–3GB。

json.load() 解析一个顶层是数组的大 JSON 文件(比如 [{...}, {...}, ...]),内存占用远超文件体积,不是因为“读得慢”,而是对象构造本身在爆炸。
为什么字典和列表对象会吃掉数倍内存
Python 的 dict 和 list 不是紧凑字节数组,每个元素都带开销:
- 每个
dict对象包含哈希表、引用计数、类型指针、空闲槽位 —— 即使只存一个键值对,也至少占 240+ 字节 - 每个
list内部维护动态数组,预分配空间常达实际长度的 1.125 倍,且每个位置存的是指向对象的 8 字节指针,不是原始数据 - 字符串字段(如
"id","name")被重复解析为独立str对象,无法自动去重 - 嵌套越深,中间容器对象(如每层
dict)叠加的元数据越多
一个 500MB 的 JSON 数组文件,含 200 万条记录,json.load() 后 RSS 内存常飙到 2–3GB,主因就是这层层封装。
json.load() 和逐行 json.loads() 的内存差异
关键不在于“是不是大文件”,而在于“结构是否可拆”。
- ✅ 适合逐行:NDJSON / JSONL 格式(每行一个完整 JSON 对象)
for line in f: obj = json.loads(line.strip())- 每次只构造一个对象,上一个被 GC 回收后内存基本回落
- ❌ 绝对不能逐行:标准 JSON(单个大数组包裹全部)
-
json.loads("[{...},{...}]")仍需一次性构建整个list和所有嵌套dict - 行内切分毫无意义,JSON 语法不允许跨行截断
-
验证格式最简单方式:head -n 3 huge.json | python -m json.tool。如果报错 Expecting value,说明它不是 NDJSON。
ijson 流式提取如何绕过对象爆炸
ijson.items(f, 'item') 这类调用不生成完整列表,而是按需 yield 解析出的每个子对象:
将包含oralBroadcastingList、materialList、bgmInfo等字段的JSON视频素材转换为剪映API可用的自然语言描述,用于生成视频制作指令,包括素材匹配、时间轴计算、字幕同步、特殊效果处理等。
- 底层用 C 扩展逐字节扫描,匹配路径表达式(如
rows.item) - 只在匹配到目标路径时才构造对应 Python 对象,其余部分跳过
- 对象生命周期严格绑定于当前迭代,不会滞留
但要注意路径写法必须精确:
- 文件结构是
{"data": [{"id":1}, {"id":2}]},就得用ijson.items(f, 'data.item') - 写成
'item'或'data.*'会静默跳过所有内容,不报错也不 yield
别让生成器变成“纸面流式”
常见陷阱是写了生成器,但消费端一不小心就触发全量加载:
- 错误:
list(generator)、len(list(generator))、pandas.DataFrame(list(generator)) - 正确:用
for obj in generator:逐个处理,或用itertools.islice控制批次大小
真正节省内存的前提是:上游不构造、下游不收集。
大 JSON 解析的复杂点不在“怎么写代码”,而在“怎么定义数据边界”——是 NDJSON?是单对象嵌套?还是混合结构?没确认清楚就选工具,ijson 也可能白装。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!










