Selenium 默认无法直接定位 Shadow DOM 内部的元素，需先获取 shadow-host 元素，再通过 shadow_root 属性访问其内部结构，才能查找如 #products-grid 等深层节点。
selenium 默认无法直接定位 shadow dom 内部的元素，需先获取 shadow-host 元素，再通过 `shadow_root` 属性访问其内部结构，才能查找如 `#products-grid` 等深层节点。
在爬取类似 https://www.cvlinens.com/collections/table-linens?page=3 这类现代电商网站时，你可能会发现页面关键内容（如商品网格）被封装在 Shadow DOM 中——例如
后紧跟 #shadow-root (open)。此时，传统 locator（ID、XPath、CSS）会失效，因为 Shadow DOM 创建了独立的 DOM 作用域，Selenium 的常规查找逻辑无法穿透。
✅ 正确做法是分三步处理：
- 定位 shadow host 元素（即包含 #shadow-root 的父容器）；
- 通过 .shadow_root 属性获取 Shadow DOM 根节点（Selenium 4.0+ 原生支持，无需执行 JS）；
- 在 shadow root 上调用 find_element() 进行二次查找。
以下是可直接运行的完整示例代码：
from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
driver.maximize_window()
url = 'https://www.cvlinens.com/collections/table-linens?page=3'
driver.get(url)
wait = WebDriverWait(driver, 10)
# Step 1: 等待 shadow host 元素出现（必须是 open mode 的 shadow-root）
shadow_host = wait.until(EC.presence_of_element_located((By.ID, 'fast-simon-serp-app')))
# Step 2: 获取 shadow root（Selenium 4+ 直接支持，无需 execute_script）
shadow_root = shadow_host.shadow_root
# Step 3: 在 shadow root 内部查找目标元素
products_grid = shadow_root.find_element(By.ID, 'products-grid')
print("✅ 成功定位 products-grid:", products_grid.tag_name)
print("? 商品区域文本长度:", len(products_grid.text[:200]) if products_grid.text else "空内容")
⚠️ 注意事项：
- 仅支持 open 模式的 Shadow DOM：closed 模式无法通过 .shadow_root 访问（浏览器限制，无绕过方案）；
- Selenium 版本要求 ≥ 4.0：旧版本需通过 driver.execute_script('return arguments[0].shadowRoot', shadow_host) 手动获取，已弃用；
- 不能链式调用 shadow_root.find_element(...).shadow_root：每个 shadow host 只有一个直接 shadow root，嵌套 shadow root 需逐层获取；
- 等待策略要精准：先等 host 存在，再操作 shadow_root；若 host 动态加载，建议加 visibility_of 或 element_to_be_clickable 等更严格的条件。
? 小技巧：可通过浏览器开发者工具（Elements 面板）右键 shadow-host → “Reveal in Elements panel”，展开 #shadow-root 查看内部结构，确认 ID/CSS 选择器是否准确。遇到多层 shadow root（如 host1 → shadow → host2 → shadow），重复上述流程即可。
掌握 Shadow DOM 访问方法，是自动化采集现代 Web 应用（尤其使用 LitElement、Stencil、Angular Elements 等框架构建的站点）的关键能力。
