pyquery 比 beautifulsoup 更适合快速筛选，因其语法类似 jquery、底层基于高速 lxml、支持链式选择器且容错简洁。
PyQuery 为什么比 BeautifulSoup 更适合快速筛选？
PyQuery 的设计目标就是让 HTML 解析像 jQuery 一样直觉——你不用记一堆方法名，写 doc('a[href^="https"]') 就能抓出所有 HTTPS 链接，而不用先 find_all('a') 再手动判断 href 属性。它底层用 lxml，速度比 BeautifulSoup 默认的 html.parser 快不少，尤其在处理中大型网页（比如新闻列表页、商品瀑布流）时，解析耗时能差 2–3 倍。
- 安装时别只 pip install pyquery：它依赖
lxml，Windows 用户常卡在编译上，直接用pip install pyquery lxml一起装更稳 - 初始化时注意编码：如果网页是 GBK 或 GB2312，
PyQuery(url=...)可能乱码，优先改用PyQuery(requests.get(url).content)，再显式指定encoding='gbk' - 不要对动态渲染页直接用 PyQuery：它不执行 JS，遇到
document.write或 Vue 渲染的内容，拿到的还是空容器，得先用 Selenium 或 Playwright 渲染完再喂给PyQuery
常见 selector 写法和对应场景
PyQuery 的选择器能力几乎对标 jQuery，但新手容易套用 CSS 规则却忽略实际 DOM 结构。比如想取「标题下第一个段落」，写 doc('h1 + p') 看似合理，但如果 HTML 是 <h1>...</h1>
<div>...<p>...</p>
</div>，这个选择器就失效了。
- 匹配含特定文本的标签：
doc('td:contains("待发货")')，注意大小写敏感，且只匹配直接文本，不含子标签内容 - 提取属性值：用
.attr('href')，不是.attrs['href']；如果属性不存在，返回None而非报错，适合安全提取 - 多级嵌套筛选：先
doc('.item-list li')拿到所有条目，再链式调用.filter(lambda i, e: 'hot' in PyQuery(e).attr('class', ''))，避免一次性写超长 selector - 文本提取慎用
.text()：它会把所有子节点文本拼接成一行，中间用空格隔开。要保留换行或结构，改用.html()或遍历.items()逐个处理
和 requests 配合时最容易踩的坑
PyQuery 本身不发请求，多数人用它搭配 requests，但默认行为埋了几个隐性雷：
-
requests.get(url)返回的response.text是经过解码的 str，但 PyQuery 接收 bytes 更可靠（尤其含中文或特殊字符时），所以推荐写法是PyQuery(response.content, parser='html') - 如果网站有反爬，
requests默认没带User-Agent，直接被 403，必须加 headers：headers={'User-Agent': 'Mozilla/5.0'} - 登录态或 Cookie 不能靠 PyQuery 维持：它只是解析器，登录后拿到的
session对象要传给后续requests.get(..., cookies=session.cookies)，再把响应体丢给 PyQuery - 大量请求时别每个都新建 PyQuery 实例：复用同一个解析器对象没意义，但可以缓存
response.content，避免重复下载
什么时候该放弃 PyQuery，换别的方案？
PyQuery 强在“快筛”，弱在“深度交互”和“容错修复”。遇到这些情况，硬扛反而拖慢进度：
- 网页结构极不规范（比如大量未闭合标签、混用大小写、属性无引号）：lxml 解析可能直接抛
LxmlError，此时换BeautifulSoup(html, 'html5lib')更鲁棒 - 需要修改 DOM 后重新序列化（比如删掉广告 div 再保存）：PyQuery 支持但 API 别扭，不如直接用
lxml.etree原生操作 - 要做字段映射+清洗+入库一条龙：PyQuery 提取后还得写一堆 if-else 转类型、去空格、补缺省值，这时候上
scrapy.Item或pydantic.BaseModel配合更省心 - 页面里关键数据藏在 JSON 字符串里（比如
<script>window.<strong>INITIAL_STATE<strong> = {...}</script>）：别费劲用 PyQuery 找 script 再正则，直接re.search(r'INITIAL_STATE = (.*?);', html)更准更快
PyQuery 的边界其实很清晰：它是个趁手的“网页瑞士军刀”，但别指望它替你做决策、修脏数据、或者跑完整 pipeline。真正卡住你的，往往不是语法不会写，而是没看清目标 HTML 到底长什么样——打开浏览器开发者工具，右键“Copy selector”，粘贴到 PyQuery 里试试，比查文档快得多。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
