网页源码无目标数据是因js渲染，requests仅获原始html；应通过开发者工具network标签抓xhr/fetch请求，补全user-agent、referer、cookie等headers，并检查动态参数、分页及请求体内容。

网页源码里找不到要的数据，是因为内容由 JavaScript 渲染

直接 requests.get() 拿到的 HTML 里没有目标内容，不是代码写错了，而是页面用了前端框架（Vue/React）或通过 fetch/XMLHttpRequest 异步加载数据。浏览器开发者工具里「Elements」看到的内容 ≠ 「Page Source」里的内容。

• 用 Ctrl+U（或右键「查看网页源代码」）看到的是服务端返回的原始 HTML，不含 JS 渲染结果
• 「Elements」面板显示的是 DOM 树，已包含 JS 执行后的修改，但这个状态 requests 无法复现
• 真要拿渲染后的内容，得用 selenium 或 playwright，但多数时候没必要——先查 XHR

在 Chrome 开发者工具里定位 XHR 请求

隐藏内容大概率来自 XHR/Fetch 请求，而不是 DOM 插入。关键不是“找接口”，而是“找触发时机”：滚动、点击、输入后出现的数据，往往对应一个新请求。

• 打开开发者工具 → 切到 Network 标签 → 勾选 XHR（有时也要勾 Fetch/XHR）
• 刷新页面，或执行触发动作（比如点「加载更多」），观察列表里新增的请求
• 点开可疑请求 → 看 Response 是否含你要的 JSON 数据；看 Headers 里的 Request URL 和 Referer，这些后续要用
• 注意过滤：有些请求是埋点、广告、统计，和业务数据无关；优先看状态码 200、响应类型 application/json 的

requests 直接调 API 时必须补全的头信息

很多网站对 XHR 请求做了简单反爬：没带 User-Agent 或 Referer 就返回空数据、403 或重定向到登录页。

python 查询技能

查询客流数据，输出JSON格式，可直接导入Bitable等可视化工具

下载

• 至少加上 headers={'User-Agent': 'Mozilla/5.0...'}，否则部分接口直接拒绝
• 复制浏览器里该 XHR 请求的 Referer 字段值，加进 headers，否则可能返回 403 Forbidden 或空列表
• 如果请求带 Cookie，且你之前没登录过，requests 默认不会携带，得手动加；或者先用浏览器登录，导出 Cookie 字符串填进 headers['Cookie']
• 某些接口需要 X-Requested-With: XMLHttpRequest，不加可能被识别为非 AJAX 请求而拦截

JSON 接口返回 200 但 data 是空的，检查参数和签名

看起来请求成功，但 response.json() 里关键字段为空，常见于带分页、时间戳、加密参数的接口。

• 对比浏览器发出的请求，检查 URL 中是否有 timestamp=、sign=、token= 这类动态参数
• 分页接口常依赖 offset / limit 或 page / size，填错值会导致返回空数组
• 有些站点把关键参数塞在请求体（POST + application/json），而不是 URL，漏看 Payload 标签就会白忙活
• 极少数会校验请求体的 MD5 或对参数做简单拼接签名，这时光靠抓包不够，得去 JS 文件里搜 sign、md5、crypto 相关逻辑

真实情况往往是：URL 对了、头对了、方法对了，就差一个没注意的参数。别急着换方案，回到 Network 里多点几个类似请求，横向比对差异项。

Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！