如何使用Python PyQuery像jQuery一样快速操作网页节点？-Python教程-PHP中文网

pyquery本质是jquery的python移植，依赖lxml解析html、不执行js、不维护dom状态；初始化推荐filename更稳定，url需配合requests预处理并显式指定parser；find()搜索所有后代节点，children()仅限直接子元素；text()和html()为批量getter/setter，修改单个节点需用eq()或索引；css选择器受限于lxml，不支持:contains等伪类，应结合python逻辑补足。

如何使用python pyquery像jquery一样快速操作网页节点？

PyQuery 本质是 jQuery 的 Python 移植，但不是“完全等价”——它依赖 lxml 解析 HTML，不执行 JS，也不维护 DOM 状态。想用它快速选中、修改节点，关键在理解它的链式调用和选择器行为，而不是照搬 jQuery 写法。

PyQuery 初始化时该用 `url` 还是 `filename`？

直接传 URL（如 PyQuery("https://example.com")）会触发 HTTP 请求，但默认不带 headers，容易被反爬拦截；传本地文件路径（PyQuery(filename="page.html")）更稳定，适合调试。

线上抓取务必加 requests 预处理：先用 requests.get(url, headers=...) 获取响应体，再传给 PyQuery(response.text)
HTML 中含编码声明（如 <meta charset="utf-8">）时，PyQuery 可能误判编码，建议显式指定： PyQuery(response.content, parser="html")
若 HTML 是 XML 或 XHTML，改用 parser="xml"，否则标签闭合错误会导致解析失败

`find()` 和 `children()` 的边界在哪？

两者都返回新 PyQuery 对象，但层级逻辑不同：find() 是深度优先搜索所有后代节点，children() 只取直接子元素——这点和 jQuery 一致，但容易因嵌套结构误判。

doc("div").children("p") 只匹配 <div><p>...</p><div class="aritcle_card flexRow artxards"> <div class="artcardd flexRow"> <a class="aritcle_card_img" rel="nofollow" href="/xiazai/skill5179" title="Python Packaging"><img src="https://img.php.cn/upload/skill/000/000/081/179039528667188.jpg" alt="Python Packaging" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a> <div class="aritcle_card_info flexColumn"> <a rel="nofollow" href="/xiazai/skill5179" title="Python Packaging" class="overflowclass">Python Packaging</a> <p class="overflowclass">深度Python打包工作流——pyproject元数据、依赖与可选额外项、构建后端、wheel、版本控制、发布及CI发布规范……</p> </div> <a rel="nofollow" href="/xiazai/skill5179" title="Python Packaging" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a> </div> </div></div> 中的 <p></p>，不会匹配 <div><section><p>...</p></section></div>
doc("div").find("p") 会匹配任意深度的 <p></p>，包括上例中的嵌套 <p></p>
如果目标节点可能被包装（如 CMS 自动生成 wrapper div），优先用 find()；若明确只操作一级结构，用 children() 更安全

修改文本或属性时，为什么 `text()` 和 `html()` 行为反直觉？

text() 是 getter/setter 一体：无参调用返回所有匹配节点的合并纯文本（不含标签），传参则**批量覆盖全部节点的文本内容**；html() 同理，但操作的是 innerHTML。

doc("a").text("new link") 会把所有 <a></a> 的文本全改成 "new link"，不是追加
想单独改第 N 个节点？得用索引： doc("a").eq(0).text("first") 或 doc("a")[0].text("first")（注意后者返回原生 lxml 元素）
attr("href", "xxx") 批量设属性没问题，但删属性要用 removeAttr("class")，不能写 attr("class", None)

为什么有些 CSS 选择器失效？

PyQuery 基于 lxml 的 cssselect 实现，不支持所有 jQuery 选择器语法，尤其避开伪类和复杂关系符。

✅ 支持："div#main .item:first"、"input[type='text']"、"a[href^='https']"
❌ 不支持："div:contains('text')"、"tr:even"、"button:not([disabled])"（lxml 不实现这些）
替代方案：先用基础选择器缩小范围，再用 Python 循环 + 条件判断，比如 [e for e in doc("div") if "keyword" in e.text_content()]
遇到动态 class 名（如 class="btn btn--primary js-submit"），别硬匹配完整字符串，用 doc("[class*='js-submit']") 或正则提取更稳