Python爬虫怎么解析复杂JSON数据_利用jsonpath-ng进行精准提取-Python教程-PHP中文网

jsonpath-ng更可靠，因其将路径作为查询表达式处理，支持通配符、过滤器和递归下降，查不到返回空列表而非抛错，天然适配结构不确定场景。

python爬虫怎么解析复杂json数据_利用jsonpath-ng进行精准提取

jsonpath-ng 为什么比 `json.loads()` + 手动嵌套取值更可靠

当接口返回的 JSON 结构深度超过 3 层、存在可选字段或数组长度不固定时，用 data['a']['b'][0]['c'] 这类硬编码方式极易抛出 KeyError 或 IndexError。而 jsonpath-ng 把路径当作查询表达式处理，支持通配符、过滤器和递归下降，天然适配“结构不确定但模式可描述”的场景。

它不修改原始数据，也不依赖字段是否存在——查不到就返回空列表，不会中断执行。这点对爬虫这种需要容错的数据提取任务很关键。

jsonpath-ng 支持标准 JSONPath 语法（如 $..book[?(@.price ），比 <code>jq 更轻量，比正则更语义化
安装只需 pip install jsonpath-ng，无 C 依赖，Windows/macOS/Linux 全平台一致
注意：不要装错包——jsonpath（无 -ng）是旧版且不维护，jsonpath-rw 已停更，必须用 jsonpath-ng

如何安全提取嵌套数组中带条件的字段（比如“所有 status=2 的 item.id”）

典型场景：电商 API 返回 {'data': {'list': [{'id': 1, 'status': 2}, {'id': 2, 'status': 1}]}}，你想只拿 status 为 2 的 id 列表。

直接写 $..list[?(@.status == 2)].id 即可。关键点在于：@ 指代当前节点，== 是数值比较（不是 =），字符串要加引号（?(@.type == 'sold')）。

Nextjs App Router Audit

审查 Next.js App Router 代码库，检查 React Server Component 边界错误、请求瀑布、客户端/服务端反模式以及 Core Web Vitals 风险...

下载

过滤器括号前后不能有空格：[?(@.x==1)] ✅，[ ? (@.x == 1) ] ❌（会解析失败）
如果字段可能缺失，用 ?? 操作符兜底：$..items[?(@.price ?? 0 > 99)]
数组索引支持负数：$..items[-1].name 取最后一个

遇到 `parse()` 后 `find()` 返回空列表？先检查这三件事

这是新手最常卡住的地方，往往不是路径写错，而是环境或数据本身的问题。

确认原始响应是合法 JSON：用 json.loads(text) 能否成功？如果报 JSONDecodeError，jsonpath-ng 必然失效——它不负责解析，只负责查询
路径区分大小写：$..Name 和 $..name 是两个不同字段；API 文档写的 “name” 实际返回可能是 “NAME”
顶层不是对象？比如返回的是数组 [{"a":1},{"a":2}]，那 $..a 有效，但 $.data.a 就永远为空——此时应从 $[0].a 或 $..a 开始试

在 Scrapy 中集成 jsonpath-ng 提取字段的最小可行写法

Scrapy 默认用 XPath/CSS，但处理 JSON 接口时硬切到 jsonpath-ng 更自然。不需要改 pipeline，直接在 parse() 里用：

import json
from jsonpath_ng import parse
from jsonpath_ng.ext import parse as parse_ext
<p>def parse(self, response):
data = json.loads(response.text)
jsonpath_expr = parse_ext('$.items[?(@.active)].url')  # 注意用 parse_ext 支持过滤器
matches = [match.value for match in jsonpath_expr.find(data)]
for url in matches:
yield scrapy.Request(url, callback=self.parse_detail)</p>

这里必须用 parse_ext 而非基础 parse，否则 [?(@.x==1)] 这类过滤语法会报 SyntaxError。另外，response.json() 在某些异常 HTTP 状态下会失败，建议始终用 json.loads(response.text) 并加 try/except。

深层嵌套 + 动态字段名（比如键名为时间戳）仍是难点，这时候得配合 $.data.*.value 或正则匹配 key，不能只靠 JSONPath。