异步io不加速json解析，因json.loads()等是同步cpu密集型操作；真正异步的只有i/o；gb级json应使用ijson流式解析；仅当i/o完成且解析量大时才用run_in_executor。

异步IO本身不加速JSON解析，别被名字骗了

asyncio 不能让 json.loads() 或 orjson.loads() 变快——它们全是同步 CPU 密集型操作。事件循环会被阻塞，哪怕你用 await 包一层也没用。真正能异步的只有 I/O：比如从磁盘读文件、从网络接收响应体。解析动作必须和 I/O 拆开，否则“异步解析”只是假象。

大文件该用流式解析，不是 asyncio + loads

当你面对 GB 级单体 JSON（如一个超长数组或嵌套对象），json.load() 会直接 OOM。asyncio 对此无解。正确路径是用 ijson 做流式迭代：

python学习

Python 编程学习助手 skill，面向零基础用户。 当用户表达以下意图时触发： - 学习 Python 基础概念（变量、数据类型、循环、函数、类等） - 请求 Python 练习题或测验 - 请求审查或调试 Python 代码 - 请求 Python 项目实战指导（爬虫、数据分析、Web 开发等入门项目） - 泛化表述如"教我 Python""我想学编程""Python 怎么写""帮我学 Python" 此 skill

下载

• ijson.parse() 返回生成器，每次只吐出一个事件（'start_map', 'string', 'number'），内存恒定在几 MB
• ijson.items(f, 'records.item') 直接提取指定路径下的每个对象，适合日志/事件流结构
• 必须传 open(..., 'rb')，ijson 内部按需读取字节块，不缓存全量
• 别在 async def 里调 ijson.items() 后再 await ——它不返回协程，只是普通迭代器

什么时候才需要 loop.run_in_executor？

仅当你的工作流满足两个条件：I/O 已完成 + 解析量极大（例如每秒解析上千条 2–5KB 的 JSONL 行）。这时用线程池把 orjson.loads() 移出事件循环：

• orjson.loads() 要求输入是 bytes，且必须是 UTF-8；传 str 会抛 TypeError
• ujson.loads() 对 bytes 支持不稳定，建议先 data.decode('utf-8')
• 单次解析
• 示例封装：

  async def async_orjson_loads(data: bytes):<br>    loop = asyncio.get_running_loop()<br>    return await loop.run_in_executor(None, orjson.loads, data)

最容易被忽略的三件事

换库或加异步不是改个 import 就完事：

• orjson.loads() 默认返回键为 bytes 的字典（不是 str！），后续用 dict['key'] 会报 KeyError
• ijson.items() 提取的每个 item 是完整 Python 对象，但内部字段仍是原样类型（比如时间字符串不会自动转 datetime）
• 用 mmap + ujson 看似能省内存，但 ujson 不支持部分内存映射区域，容易触发 ValueError: Invalid JSON

Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！