本文介绍如何通过 Selenium 自动滚动 Flickr 群组页面到底部，触发懒加载机制，确保所有图片元素（如 .overlay 链接）被渲染后，再用 BeautifulSoup 解析并提取完整图片 URL 列表。
本文介绍如何通过 selenium 自动滚动 flickr 群组页面到底部，触发懒加载机制，确保所有图片元素（如 `.overlay` 链接）被渲染后，再用 beautifulsoup 解析并提取完整图片 url 列表。
在爬取 Flickr 群组（如 https://www.flickr.com/groups/allfreepictures/pool/）时，页面采用无限滚动（infinite scroll）设计：初始仅加载首屏图片，后续内容需滚动触底才能异步加载。若直接解析 page_source，将仅获取到可见区域的 HTML，遗漏大量动态加载的图片链接。
解决思路是：驱动浏览器持续滚动至页面底部，等待新内容加载完成，直至高度不再变化（即滚动到底）。以下是完整、健壮的实现方案：
✅ 核心滚动逻辑（防重复、防过早终止）
import time
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
# 启动无头 Chrome（生产环境推荐）
options = Options()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
driver = webdriver.Chrome(options=options)
url = "https://www.flickr.com/groups/allfreepictures/pool/page3041"
driver.get(url)
# 滚动到底部，直到页面高度稳定（懒加载完成）
last_height = driver.execute_script("return document.body.scrollHeight")
while True:
# 滚动到底部
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(1.5) # 留足加载时间（可根据网络调整）
new_height = driver.execute_script("return document.body.scrollHeight")
if new_height == last_height:
break # 高度未变 → 已到底部
last_height = new_height
# 再次等待确保 DOM 完全就绪（可选增强）
time.sleep(2)
✅ 解析所有图片链接
Flickr 群组页中，每张缩略图均包裹在 标签内，其 href 即为图片详情页路径：
soup = BeautifulSoup(driver.page_source, 'html.parser')
image_urls = [a['href'] for a in soup.find_all('a', class_='overlay') if a.has_attr('href')]
print(f"共提取 {len(image_urls)} 个图片链接")
print(image_urls[:5]) # 示例输出前5条
⚠️ 注意事项与最佳实践
- 显式等待优于 time.sleep()：生产环境建议改用 WebDriverWait + expected_conditions 监听特定元素出现，提升稳定性；
- 反爬策略：Flickr 可能限制高频请求，添加 user-agent、随机延迟、控制并发频率更稳妥；
- 异常处理：务必包裹 try/except，捕获 NoSuchElementException 或超时异常；
- 资源清理：使用完毕调用 driver.quit() 释放浏览器进程；
- 选择器健壮性：.overlay 类名可能随前端更新变化，建议结合 data-track 属性或 XPath 做双重校验（例如 //a[contains(@class, 'overlay') and starts-with(@href, '/photos/')]/@href）。
通过上述滚动+解析流程，你可稳定获取单页全部已加载图片链接，为后续批量下载或元数据采集打下可靠基础。
