本文讲解如何使用 Selenium 正确抓取具有统一类名的标题（.chunk-title）和段落（.p0），通过 DOM 层级关系实现“一标题配其下所有段落”的结构化输出，避免全局重复匹配问题。
本文讲解如何使用 selenium 正确抓取具有统一类名的标题（`.chunk-title`）和段落（`.p0`），通过 dom 层级关系实现“一标题配其下所有段落”的结构化输出，避免全局重复匹配问题。
在网页爬取实践中，常见一类结构：多个标题（如
）与多个段落（如
）分别集中存在于同级容器中，但彼此逻辑归属并非简单顺序一一对应——而是按 DOM 嵌套层级组织。例如目标页面中，每个 chunk 容器（.chunks > li）内包含一个 .chunk-title 和若干 .chunk-content > p.p0，这才是语义上“标题-内容”的真实配对单元。
原代码的问题在于：
- 使用 driver.find_elements(By.CLASS_NAME, "chunks") 获取的是顶层容器列表，但后续却在整个页面范围内重复查找所有 .chunk-title 和所有
，导致标题与段落交叉错配；
- 未利用 HTML 的嵌套结构，而是将标题与段落作为两个独立集合暴力循环，自然产生“每个标题后打印全部段落”的错误结果。
✅ 正确解法是：逐个定位每个逻辑区块（chunk），再在其内部范围查找对应的标题与段落。关键在于使用相对 XPath 或 CSS 选择器（如 .find_element() 配合 . 表示当前节点上下文）：
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome() # Selenium 4.6+ 自动管理驱动，无需手动指定路径
driver.get("https://library.municode.com/az/avondale/codes/code_of_ordinances?nodeId=CD_ORD_CH1GEPR")
driver.maximize_window()
# 等待主内容加载完成
wait = WebDriverWait(driver, 15)
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "ul.chunks")))
# 定位所有 chunk 列表项（每个 li 是一个独立的标题+内容单元）
chunks = driver.find_elements(By.CSS_SELECTOR, "ul.chunks > li")
with open("avondale_ordinances.txt", "w", encoding="utf-8") as f:
for i, chunk in enumerate(chunks, 1):
try:
# 在当前 chunk 内查找标题
title_elem = chunk.find_element(By.CLASS_NAME, "chunk-title")
title_text = title_elem.text.strip()
# 在当前 chunk 内查找所有段落（注意：p 元素位于 .chunk-content 内）
para_elems = chunk.find_elements(By.CSS_SELECTOR, ".chunk-content p.p0")
para_texts = [p.text.strip() for p in para_elems if p.text.strip()]
# 写入结构化内容
f.write(f"--- Article {i} ---\n")
f.write(f"{title_text}\n\n")
for para in para_texts:
f.write(f"{para}\n\n")
f.write("-" * 50 + "\n\n")
print(f"✓ Processed: {title_text[:50]}...")
except Exception as e:
print(f"⚠️ Skipped chunk {i}: {e}")
continue
driver.quit()
? 关键要点说明：
- chunk.find_element(...) 中的 . 表示从 chunk 这个 WebElement 开始搜索，确保作用域严格限定在当前区块内；
- 使用 ul.chunks > li 而非 div.chunks，是因为实际 HTML 中 chunks 是
- ，其子项为
- ，每个
- 才是完整的标题+内容容器；
- 显式等待（WebDriverWait）替代固定 time.sleep()，提升稳定性与效率；
- 异常捕获保障单个区块失败不影响整体流程；
- 输出时添加分隔符与序号，便于人工校验结构完整性。
⚠️ 注意事项：
- 不要盲目使用多线程——本任务为 I/O 密集型且依赖浏览器上下文，多线程反而易引发 WebDriver 实例冲突或页面状态混乱；
- 若需更高性能或纯静态内容，可结合 requests + BeautifulSoup（需处理 JS 渲染内容时仍需 Selenium）；
- 实际部署时建议添加 User-Agent、反爬延迟及异常重试机制。
最终生成的文本将严格遵循：
--- Article 1 --- Article I - GENERAL PROVISIONS The ordinances embraced in the following chapters... --- Article 2 --- Article II - DEFINITIONS Unless the context otherwise requires...
真正实现标题与所属段落的精准绑定。
