Selenium批量提取网页中所有H2标签的文本与href链接（含实战代码）-Python教程-PHP中文网

Selenium批量提取网页中所有H2标签的文本与href链接（含实战代码）

本文详解如何使用Selenium高效获取页面内全部H2标签（特别是嵌套在结构中的）的可见文本及对应href属性，适用于多链接列表页（如总统演讲档案页），避免仅捕获首个元素的常见误区。

本文详解如何使用selenium高效获取页面内全部h2标签（特别是嵌套在`

`结构中的）的可见文本及对应href属性，适用于多链接列表页（如总统演讲档案页），避免仅捕获首个元素的常见误区。
在网页抓取实践中，常需批量提取具有统一结构的标题链接组——例如巴西前总统若泽·萨尔内演讲库页面中，每个演讲条目均以

标题文本
形式呈现。此时若沿用 find_element() 或 visibility_of_element_located() 等单元素定位方法，将仅返回首个匹配项，无法满足“一页20+条目”的批量采集需求。

✅ 正确方案：使用 find_elements() + 合理选择器

Selenium 并无内置类似 BeautifulSoup 的 .find_all() 方法，但其 find_elements()（注意末尾为复数）完全可实现同等功能：它返回符合定位条件的所有 WebElement 对象列表，是批量提取的基石。

针对目标页面（http://www.biblioteca.presidencia.gov.br/https://www.php.cn/link/263b1243ca2dbeb358777ceabc4a2e4c），观察HTML结构可知：

Selenium 4.48.0

Selenium 4.48.0 官方发布页下载，适合 WebDriver 浏览器自动化测试、Selenium Grid 分布式测试和多语言自动化脚本环境升级。

下载

H2标题均包裹在标签内，且父级有 class="tileHeadline"；
直接定位 h2 a 是最精准、高效的CSS选择器（比XPath更简洁，性能更优）；
每个元素同时承载 text（标题内容）和 href（PDF或详情页链接）。

以下是完整、健壮的实现代码：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

# 配置浏览器选项（静默运行、禁用通知等）
options = Options()
options.add_argument("--disable-notifications")
options.add_experimental_option("excludeSwitches", ["enable-automation", "enable-logging"])
options.add_argument("--headless")  # 可选：无头模式提升效率

driver = webdriver.Chrome(options=options)
wait = WebDriverWait(driver, 10)

try:
    url = "http://www.biblioteca.presidencia.gov.br/presidencia/ex-presidentes/jose-sarney/discursos/1985?b_start:int=0"
    driver.get(url)

    # 显式等待：确保至少一个 .tileHeadline 元素可见（作为页面加载完成信号）
    wait.until(EC.visibility_of_element_located((By.CLASS_NAME, "tileHeadline")))

    # ✅ 关键：使用 find_elements() 批量获取所有 h2 下的 a 标签
    h2_links = driver.find_elements(By.CSS_SELECTOR, "h2 a")

    # 结构化输出：每条记录包含 title 和 href
    results = []
    for idx, elem in enumerate(h2_links, 1):
        title = elem.text.strip()
        href = elem.get_attribute("href")
        if href:  # 过滤空链接
            results.append({"title": title, "href": href})
            print(f"[{idx}] {title}")
            print(f"    → {href}\n")

    print(f"✅ 成功提取 {len(results)} 个H2链接条目。")

finally:
    driver.quit()

⚠️ 注意事项与最佳实践

勿混淆 find_element 与 find_elements：前者返回单个 WebElement 或抛出异常；后者返回 list[WebElement]，为空时返回空列表（不会报错），适合循环处理。
优先选用 CSS Selector：相比 By.CLASS_NAME 或 By.XPATH，"h2 a" 这类CSS选择器语义清晰、执行更快，且对DOM结构变化鲁棒性更强。
显式等待不可省略：动态页面需等待关键元素（如 .tileHeadline）渲染完成后再提取，否则可能因DOM未就绪而返回空列表。
空值防护：调用 get_attribute("href") 可能返回 None（如无href属性），务必判空；.text 在元素不可见时可能为空字符串，建议 .strip() 清理。
资源释放：务必在 finally 块中调用 driver.quit()，确保浏览器进程彻底关闭，避免内存泄漏。