requests+BeautifulSoup适用于解析服务端已渲染的静态HTML网页,如新闻页、博客等;若页面内容由JS动态加载,则需Selenium或Pyppeteer;提取时应选用稳定语义化的CSS选择器,并优先尝试抓取后端API接口获取结构化数据。

静态 HTML 能用 requests + BeautifulSoup 直接解析
绝大多数新闻页、博客、产品介绍页等,内容在服务器端已渲染完成,response.text 里就包含完整 HTML。这时直接用 requests.get() 获取响应,再交给 BeautifulSoup 解析即可。
常见错误现象:拿到的 html_content 里没有目标文字,但浏览器里明明有——大概率是网页用了 JS 动态插入内容,不是静态 HTML。
- 检查方式:右键网页 → “查看页面源代码”,搜索你要的数据关键词,搜不到就是动态加载
- 必须加
headers(尤其是User-Agent),否则很多网站返回 403 或空内容 -
BeautifulSoup(html_content, 'html.parser')足够日常使用;追求速度可换'lxml',但需额外安装
JS 渲染的内容得靠 Selenium 或 Pyppeteer
电商商品列表、无限滚动评论、登录后才显示的数据,通常由 JS 在浏览器中执行后才生成 DOM。这时候 requests 拿到的是“骨架”,没数据。
真实使用场景下,Selenium 更稳定、调试方便;Pyppeteer 启动快、内存占用低,但异步写法对新手不友好。
-
Selenium必须显式等待关键元素出现,比如driver.wait_for_element_by_css_selector('.product-list'),不能只靠time.sleep() -
Pyppeteer的page.waitForSelector()是推荐写法,比固定延时可靠得多 - 无头模式(
--headless)默认不加载图片/字体,可提速,但某些网站会检测并拒绝服务
CSS 选择器写错是爬取失败最常见原因
你复制的“复制选择器”结果可能是临时 ID 或带随机类名的路径,一刷新就失效。真正可用的选择器要满足:稳定、语义明确、层级尽量浅。
例如目标是商品标题,别用 #app > div:nth-child(2) > ul > li:first-child h3,而应找带业务含义的 class 或 data 属性:
- 优先试
.product-title、[data-testid="product-name"]这类命名清晰的 - 避免用
div > div > div > span这种纯结构路径,网页微调就会崩 - 用
soup.select()测试时,先在浏览器控制台输document.querySelectorAll('.your-selector')看是否命中
后端 API 接口往往比爬 HTML 更高效
很多现代网站把数据存在前端请求的 JSON 接口里(比如 /api/v1/products?page=2),HTML 只是壳。抓包看 Network 面板,找 XHR/Fetch 类型请求,往往能绕过所有渲染和反爬干扰。
这类接口通常需要:携带 Cookie、Authorization、或计算签名参数。一旦拿到,直接 requests.get() 就行,不用启动浏览器。
- 注意 Referer 和 Origin 头,有些接口会校验来源
- 接口返回的字段名可能和页面显示不一致(如价格存为
min_price_cents),需看响应体确认 - 不要盲目复用浏览器里的完整请求头,删掉
Sec-Fetch-*等 Chromium 专属字段,否则requests会报错
动态内容爬取真正的难点不在工具选型,而在判断“这一页到底是怎么出来的”——是服务端模板?前端框架渲染?还是纯 API 驱动?看源码、看 Network、看元素实时 DOM,三者缺一不可。很多人卡在第一步,就直接上 Selenium,结果慢、不稳定、还容易被识别。
前端入门到VUE实战笔记:立即使用
在学习笔记中,你将探索 前端 的入门与实战技巧!











