beautifulsoup无法提取动态渲染内容，因其仅解析静态html字符串，不执行javascript；requests获取的常是含的空壳页面，目标元素根本不存在于响应中。
BeautifulSoup 本身不执行 JavaScript，它只解析你给它的 HTML 字符串 —— 而 JS 渲染后的真实 DOM 并不在这个字符串里。
requests.get() 返回的 HTML 里根本就没有目标元素
比如访问一个 React 商品页，requests.get(url) 拿到的源码可能是 <div id="root"></div>，连商品标题的 <h1></h1> 都没生成。BeautifulSoup 在这串文本里搜 class="price"，自然返回 None 或空列表。
- 验证方法：直接检查响应体是否含目标关键词，
"price"in response.text → 极大概率是False - 常见信号：页面有“加载中…”占位符、翻页 URL 不变但内容刷新、
BeautifulSoup.select(".item")总是空 - 这不是 BeautifulSoup 的 bug，是它设计如此 —— 它不是浏览器，没有 JS 引擎
混淆 JS 会让问题更隐蔽
有些站点不靠框架渲染，而是用混淆 JS（如 atob()、String.fromCharCode()、_0x1a2b 变量名）动态拼出关键字段或签名参数。此时 requests 拿到的 HTML 里确实有 <script></script>，但 BeautifulSoup 完全不会去执行它，更不会还原出真实数据。
- 你看到的“尺寸表”“库存数”可能藏在
window.__INITIAL_STATE__或eval(里，而 BeautifulSoup 只当它是普通文本 - 如果 JS 依赖
Date.now()或document.cookie，Python 端复现成本高，硬解析容易漏掉时间窗口或校验逻辑
别直接上 Selenium，先看能不能绕过 JS
很多“JS 渲染”页面其实只是前端把数据塞进 <script></script> 变量里，或者发了 XHR 请求。这时候比模拟浏览器更快的是：抓包找真实 API，用 requests 直接调用。
- 打开 Chrome DevTools → Network → 刷页面 → 筛选 XHR/Fetch → 找带
sign、ts、data的请求 - 点开看 Headers 和 Payload，确认是否为 JSON 格式；如果是，就不用 Selenium，直接复现请求头和参数
- Selenium 启动慢、内存占用高，批量爬取时容易被识别为自动化流量，不是万能解法
真正难啃的骨头，是那些 JS 逻辑强耦合 DOM、依赖 Canvas 渲染、或嵌了 WebAssembly 的页面 —— 这类必须用 Playwright 或 Puppeteer 级别的环境，Selenium 都不一定稳。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
