selenium是目前python爬虫中唯一能稳定、可靠触发js点击事件的通用方案；requests+beautifulsoup无法执行js，故不能真正“点击”。
直接说结论：Selenium 是目前 Python 爬虫中唯一能稳定、可靠触发 JS 点击事件的通用方案；requests + BeautifulSoup 无法执行 JS，也就不可能真正“点击”。
为什么 click() 有时没反应？
常见现象是调用 element.click() 后页面没变化、数据没加载、甚至抛出 ElementClickInterceptedException 或 NoSuchElementException。
- 元素被遮挡（比如弹窗、广告层、动态加载的 overlay）——
click()会失败，但driver.execute_script("arguments[0].click();", element)可绕过检测强制触发 - 元素存在但不可见或未进入视口——Selenium 默认不点击不可见元素，需先滚动：
driver.execute_script("arguments[0].scrollIntoView(true);", element) - 元素是 JS 动态生成的，还没加载完成就查找——必须用显式等待，不能只靠
time.sleep() - 目标按钮实际是
<div> 或 <code><span></span>标签，绑定了onclick，但没设role="button"——find_element(By.XPATH, "//div[@onclick]")比依赖语义化标签更稳妥WebDriverWait怎么写才不白等？显式等待不是“等10秒”，而是“等某个条件成立”。对点击场景，关键判断点是元素可点击（而非仅存在）。
- 错误写法：
WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "submit-btn")))—— 元素在 DOM 里了，但可能被遮住或 disabled - 正确写法：
button = WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.ID, "submit-btn"))) - 如果按钮依赖前序 JS 执行（比如先选城市再激活提交），得链式等待：
WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.ID, "city-select"))).click()，再等提交按钮出现 - 超时后别静默失败——加日志：
print("等待 submit-btn 超时，当前 URL:", driver.current_url)
无头模式下点击失败的隐藏原因
用
--headless启动 Chrome 时，部分网站会检测headless特征并禁用交互逻辑（尤其金融、政务类站点）。- 基础规避：加
--disable-blink-features=AutomationControlled和--no-sandbox - 关键一步：启动后立即执行
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": "Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"})，抹掉navigator.webdriver这个最常被检测的标记 - 如果仍失败，临时切回有界面模式调试——很多问题只在 headless 下暴露，但你根本看不到报错提示
- 注意：无头模式下
send_keys(Keys.ENTER)有时比click()更稳定，尤其对表单提交按钮
真正难的不是写对那几行代码，而是判断「这个点击到底该等什么、等多久、失败后怎么补救」。JS 渲染路径千差万别，同一套等待逻辑在 A 页面管用，在 B 页面可能永远等不到——留好
driver.get_screenshot_as_file()和driver.page_source快照，比反复猜更有用。 - 错误写法：
