driver.execute_script("window.scrollto(0, document.body.scrollheight)") 常失效，因现代网站懒加载依赖容器元素滚动而非 window，且暴力跳转易被反爬识别；应定位具体滚动容器，用分段、变速、带随机停顿的 scrollby 模拟人手滚动，并配合显式等待新内容加载。
为什么 driver.execute_script("window.scrollTo(0, document.body.scrollHeight)") 常常失效
这个脚本只能把页面滚到底部，但很多现代网站（比如小红书、知乎动态流、电商商品列表）依赖“滚动触发懒加载”，而它们监听的不是 window 的 scroll 事件，而是某个容器元素（如 div.feed-container）的滚动。直接滚 window 不会触发内部监听器，数据根本不会加载。
更关键的是，真实用户滚动是渐进、变速、带停顿的，而 JS 一行跳转会暴露自动化特征，被反爬策略识别为 bot。
- 优先定位目标滚动容器：
driver.find_element(By.CSS_SELECTOR, "div.infinite-scroll-container")，再对它执行 scroll - 避免用
scrollTo(0, 99999)这类暴力跳转，改用分段、带随机延迟的scrollBy(0, 300) - 每次滚动后必须等待新内容出现（比如检测新增的
div.item数量变化），不能只靠time.sleep()
如何用 JavaScript 模拟“人手滚动”的加速度和停顿
真实滚动前慢 → 中快 → 后慢，中间还有微小回弹和停顿。Selenium 本身不提供滚动动画 API，必须靠 JS 实现可中断的定时滚动循环。
下面这段脚本在目标容器上执行平滑、变速滚动，并在每次位移后检查是否到底或加载完成：
function smoothScrollInContainer(container, totalHeight, step = 200, delay = 150) {
let current = 0;
const interval = setInterval(() => {
if (current >= totalHeight || container.scrollTop + container.clientHeight >= container.scrollHeight - 5) {
clearInterval(interval);
return;
}
const easeFactor = Math.min(1, (current / totalHeight) * 2); // 加速段
const speed = step * (0.5 + easeFactor * 0.5); // 0.5~1.0 倍速
container.scrollBy(0, speed);
current += speed;
// 随机停顿 50–200ms 模拟犹豫
if (Math.random() > 0.7) {
setTimeout(() => {}, Math.floor(Math.random() * 150) + 50);
}
}, delay);
}
smoothScrollInContainer(
document.querySelector("main#content") || document.documentElement,
document.body.scrollHeight - window.innerHeight
);
- 务必传入具体容器元素，而不是硬写
document.documentElement - 用
container.scrollBy()而非container.scrollTop = xxx，前者能触发原生 scroll 事件 - 脚本里
setTimeout(() => {}, ...)是占位用法；实际在 Python 中需配合driver.execute_script()+ 显式等待
Python 层怎么等滚动真正生效，而不是“脚本执行完就继续”
很多人卡在这里：JS 滚动脚本执行完了，但新 DOM 还没渲染出来，紧接着就去找元素，结果报 NoSuchElementException。这是因为 JS 执行是异步的，且滚动动画本身有持续时间。
- 不要用
time.sleep(2)—— 网络快时浪费，慢时又不够 - 改用
WebDriverWait等待一个明确信号，例如：len(driver.find_elements(By.CSS_SELECTOR, "div.product-card")) > last_count - 如果页面用 IntersectionObserver 加载，可以注入 JS 检查
isIntersecting状态，或监听mutationObserver新增节点 - 滚动前先记录当前元素数量，滚动后轮询最多 8 秒，超时则认为已到底或加载失败
滚动过程中被识别为自动化？绕过常见检测点
除了滚动行为本身，Selenium 默认环境会暴露大量指纹：navigator.webdriver === true、缺失 touchEvent、chrome.runtime 未定义等。即使滚动再像人，这些也会让请求被拦截。
- 启动时加参数禁用自动化标志：
options.add_experimental_option("excludeSwitches", ["enable-automation"])和options.add_argument("--disable-blink-features=AutomationControlled") - 注入 JS 覆盖关键属性：
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": "Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"}) - 滚动前模拟一次鼠标 hover 或轻微移动：
ActionChains(driver).move_by_offset(1, 1).perform()，再移回原位（避免影响页面） - 注意：某些站点会检测
scroll-behavior: smooth是否启用，可在滚动前临时设为"auto"，滚动后再恢复
滚动不是“执行一次脚本就完事”的操作，它和页面加载节奏、元素可见性、反爬响应深度耦合。最容易忽略的是——你滚动的目标容器可能在加载中途被 Vue/React 替换掉，导致后续滚动失效。所以每次滚动前最好重新 find_element 一次。
Java免费学习笔记：立即使用
解锁 Java 大师之旅：从入门到精通的终极指南
