JSON文件内存占用远超其体积，因Python对象有元数据和指针开销；单对象需用ijson等流式解析器，NDJSON则应逐行json.loads()。
因为 json.load() 会把整个 JSON 文件一次性解析成 Python 对象树，全部塞进内存——文件越大，对象越深、嵌套越多，内存占用就呈倍数级增长，远超文件原始体积。
JSON 文件不是“文本大”，而是“对象爆炸”
一个 3GB 的 JSON 文件，如果结构是单层数组（每行一个 JSON 对象），用 json.loads(line) 逐行解析，内存压力可控；但如果是单个巨型嵌套对象（比如 { "data": [ {...}, {...}, ... ] } 包了千万条记录），json.load(f) 就必须构造出完整 dict/list 树，中间还伴随大量字符串拷贝、引用计数、哈希表扩容——这些开销常是文件大小的 3–5 倍。
- 错误典型：用
json.load(open('yelp_data.json'))加载 2GB 单对象 JSON，进程 RSS 内存瞬间冲到 8GB+ - 关键区别：文件大小 ≠ 内存占用；Python 对象有额外元数据和指针开销
- 验证方式：用
tracemalloc.start()+tracemalloc.get_top_stats(10)看哪一层分配最多
json.loads() 逐行解析只适用于 NDJSON / JSONL
很多所谓“大 JSON 文件”其实是每行一个独立 JSON 对象（即 JSON Lines 格式），但开发者误以为它是标准 JSON，直接 json.load() 导致失败。这种格式必须用循环 + json.loads()，不能走顶层解析。
- ✅ 正确识别：
head -n 2 huge.json看是否每行都是有效 JSON（如{"id":1,"name":"a"}） - ❌ 错误操作：
json.load()试图解析多行拼起来的非法 JSON - 注意：
json.loads()每次只吃一个完整 JSON 文本，换行符不算分隔符——必须手动切行、去空、跳过注释
真正的大 JSON（单对象）得换解析器
json 模块是全量加载设计，对单对象大 JSON 无解。必须切换为流式、事件驱动的解析器，如 ijson 或 json-stream，它们不构建完整对象树，只按路径提取所需字段。
- 示例（用
ijson提取所有items.name）：import ijson<br>with open('big.json', 'rb') as f:<br> names = (item['name'] for item in ijson.items(f, 'items.item'))<br> for name in names:<br> process(name) # 不驻留整个 items 列表 - 性能代价：无法随机访问，只能顺序前向遍历；路径写错会静默跳过
- 安装：
pip install ijson（底层用 C 扩展，比纯 Python 解析快 3–5 倍）
别让生成器变“伪流式”
写了生成器函数，但内部仍调用 json.load() 或把整块结果 collect 成 list，等于白做。MemoryError 往往发生在“消费端”意外触发全量展开时。
- 常见陷阱：
list(your_json_generator())、sum(generator)、pandas.DataFrame(list(gen)) - 安全做法：始终用
for item in gen:迭代；传给下游函数前确认它支持迭代器（比如csv.DictWriter.writerows()支持，但numpy.array()不支持） - 调试技巧：在生成器里加
print(f"yielding #{i}")，看是否真在流式产出，还是卡在第一项就崩
最易被忽略的是：你以为在处理“JSON 文件”，其实面对的是“对象图谱”。内存爆点不在读取，而在 Python 把它翻译成 dict/list 的那一瞬——这一步没法跳过，只能绕开。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
