
本文讲解当目标页面实际 html 源码与浏览器开发者工具中看到的 dom 不一致时,xpath 无法匹配预期 href 的根本原因,并提供基于真实响应源码的可靠定位方案。
本文讲解当目标页面实际 html 源码与浏览器开发者工具中看到的 dom 不一致时,xpath 无法匹配预期 href 的根本原因,并提供基于真实响应源码的可靠定位方案。
在网页爬虫或自动化数据提取中,XPath 是定位元素的常用工具。但一个常见误区是:直接依据浏览器“元素检查”面板中渲染后的 DOM 编写 XPath,而忽略了服务器返回的真实 HTML 源码可能完全不同。
以该问题为例,用户期望通过 //a[contains(@href,"mediaid")] 提取包含 mediaid 的链接,其依据是开发者工具中看到的如下结构:
<div class="download"> <span class="downloads">25746</span> <a href="/download/?type=1&mediaid=205234">Skini titl</a> </div>
然而,实际通过 requests.get() 或其他方式获取的原始 HTML 响应中,该 标签的 href 并不包含 mediaid 参数,而是形如:
<a href="/titlovi/the-cobbler-205234/">Skini titl</a>
这意味着:contains(@href, "mediaid") 在原始文档中永远为 false —— 因为 mediaid 根本未出现在服务端返回的 HTML 中(它可能是由前端 JavaScript 动态注入或重写生成的)。
✅ 正确做法是:放弃依赖动态参数,转而利用稳定、静态的结构特征进行定位。观察真实源码可知,所有目标链接均位于 class="download" 的
AI 舌诊面诊问诊医疗系统 + 诊疗商城系统源码是一套结合 AI 辅助诊断与商品转化的健康类程序,基于浩创云、ThinkPHP(PHP)开发,支持微信服务号与 H5 端,适合做中医舌诊面诊问答、健康建议推送以及配套诊疗商品的运营。










