为什么Python爬虫抓取的数据量远少于网页显示数量_排查由于懒加载导致的底部数据缺失-Python教程-PHP中文网

requests.get()拿不到底部数据的直接原因是懒加载，即数据由javascript滚动触发异步请求加载，原始html中本就不存在；确认方法是查看网页源代码而非elements面板，并通过network→xhr观察滚动时发出的新请求。

为什么python爬虫抓取的数据量远少于网页显示数量_排查由于懒加载导致的底部数据缺失

直接原因：你用 requests.get() 拿到的 HTML 里压根就没有底部那些数据——它们是滚动到视口后才由 JavaScript 触发请求加载的，属于「懒加载」（lazy loading）。

别信 Elements 面板里看到的内容，那是浏览器渲染后的结果。右键网页 →「查看网页源代码」，搜索你要的数据关键词。如果源代码里搜不到，但 Elements 里有，基本就是懒加载或 AJAX 加载。

打开浏览器开发者工具 → Network 标签页 → 切换到 XHR / Fetch 过滤器 → 滚动页面到底部，观察是否有新的请求发出；重点看响应体（Response）里是否包含你要的列表项、ID 或文本字段。

拿到懒加载接口后，用 requests 模拟调用是最轻量、最可控的方式，比启动整个浏览器快得多。

仅使用 Python 将 Claw Code 虚拟化框架与 OpenClaw 集成，提供 184 种工具和 200 多条命令，用于安全分析和代码质量...

下载

必须复现请求头（Headers），尤其是 User-Agent、Referer、X-Requested-With（值常为 XMLHttpRequest），否则服务器可能返回空数据或 403
注意 Cookie 是否需要携带：如果初始页面登录态依赖 Cookie，后续懒加载请求大概率也要带上，可用 session = requests.Session() 复用
参数编码要严格：比如中文关键字需 urllib.parse.quote()，时间戳需整数秒级，offset 值不能写错（如从 0 开始还是 1 开始）
加 time.sleep(0.5) 避免触发频率限制，尤其当接口对单 IP 有 QPS 限制时

不是“滚动了就一定加载完”，Selenium 默认不等待异步加载完成。

别只用 driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")，之后必须显式等待：用 WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CSS_SELECTOR, ".item-list .item:last-child")))
懒加载元素可能被包裹在 display: none 或 visibility: hidden 的父容器中，需检查真实可见性，不能只靠 find_element
某些站点会检测 navigator.webdriver === true，Selenium 默认暴露此特征，容易被拦截。可加启动参数：options.add_argument("--disable-blink-features=AutomationControlled")，并执行 JS 删除 webdriver 属性

这不是玄学，是编码处理问题。服务器返回的原始字节流（content）若未正确解码，BeautifulSoup 解析时可能截断或乱码，导致部分标签无法匹配。

优先用 response.apparent_encoding 或 response.encoding 查看识别出的编码，再手动指定（如 response.content.decode('utf-8')）
如果 apparent_encoding 返回 None 或错误（如 ISO-8859-1），直接用 response.text 更稳妥——requests 已按响应头或 BOM 自动解码
极端情况（如大页面 + 缓冲区限制），response.text 可能被截断，此时应改用 response.iter_content(chunk_size=8192) 流式读取并拼接