python标准库json模块无法安全处理亿级嵌套json，必须用ijson流式解析+分阶段重组；因json.load()一次性加载全量数据并递归建树，导致内存暴涨、被系统kill或抛memoryerror。
直接说结论：Python标准库的 json 模块无法安全处理亿级嵌套JSON；必须用流式解析（如 ijson）+ 分阶段重组，否则内存爆掉、进程被系统 kill 是常态。
为什么 json.load() 会在亿级数据上失败
因为 json.load() 会把整个文件一次性读入内存并递归构建 Python 对象树。一个 10GB 的 JSON 文件，在解析后可能膨胀到 30–50GB 内存（尤其含大量字符串、嵌套字典），而 Python 的对象头开销和引用计数会让实际占用远超原始体积。你看到的不是慢，是 Killed: 9 或 MemoryError 直接退出。
- 嵌套越深，Python 创建的 dict/list 对象越多，GC 压力越大
- 所有键名重复存储（比如一万次
"datax"字符串，不是共享引用） -
json.loads()不支持中断恢复，失败就得重来
用 ijson 流式提取关键路径，不加载全量结构
ijson 不解析整个文档，而是监听 JSON 解析事件（start_map、map_key、primitive 等），按需抓取你指定路径上的值。它内存占用基本恒定（通常
- 路径写法要精确：
ijson.parse(f, 'data.item')比'data.*'更稳，后者可能匹配到意外嵌套层 - 避免用
ijson.items(f, 'data')提取整个数组——这又回到全量加载的老路 - 对每个匹配项，立刻做轻量转换（如只取
id和timestamp），别存完整子树
示例：只提取每条记录的元数据 + 测量点数量，跳过所有 measurements 内容
import ijson
with open('big.json', 'rb') as f:
parser = ijson.parse(f)
for prefix, event, value in parser:
if (prefix, event) == ('data.item.metadata.id', 'string'):
record_id = value
elif (prefix, event) == ('data.item.measurements', 'start_array'):
# 计数但不展开
count = sum(1 for _ in ijson.parse(f, 'data.item.measurements.item'))
print(f"{record_id}: {count} points")
重组时避免 pandas.DataFrame 全量构造
亿级数据不能一次性塞进 pd.DataFrame() —— 它内部会先建 list of dict，再转为 block manager，中间复制多次。正确做法是分块生成 Parquet 或 HDF5，或用 polars 的流式写入。
- 用
polars.write_parquet(..., use_pyarrow=True)替代to_parquet，支持分批追加 - 如果必须用 pandas，改用
pd.concat([df_chunk for df_chunk in chunk_iter], ignore_index=True)，且每个df_chunk控制在 10 万行以内 - 字段类型尽早声明：
dtype={'id': 'uint32', 'value': 'float32'}，省掉 pandas 自动推断开销
嵌套字段爆炸前先做结构预判
亿级数据里常混着“看似统一实则结构漂移”的字段，比如 "user" 有时是对象，有时是 null，有时是字符串（因上游 bug）。不做校验就调 json_normalize，结果就是中途 KeyError 或列错位。
- 先抽样 1000 条，用
jsonschema或自定义遍历统计每个路径的类型分布 - 对可选字段，强制用
default=None并设dtype=object，别信json_normalize(..., errors='ignore')—— 它静默丢数据 - 多层嵌套如
user.address.city，优先用ijson抓user子树字符串，再用json.loads()局部解析，比全局 flatten 更可控
真正卡住人的从来不是“怎么拆”，而是“哪一层开始变结构”“哪些字段其实为空却没告诉 schema”“重组成列后 NaN 占比是否高到影响后续 join”。这些细节不提前扫一遍，跑半天任务失败，连日志都来不及写完就挂了。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
