beautifulsoup解析所有html元素，包括display:none和hidden的元素；真正不可见的是服务端条件渲染未生成的元素；js动态隐藏内容需playwright等工具获取渲染后dom。
BeautifulSoup 默认会解析所有 HTML 元素，包括 display: none 和 hidden 的内容
只要 HTML 源码里存在该元素，BeautifulSoup 就会把它加载进 DOM 树，不管它是否被 CSS 或属性隐藏。这意味着：find()、select() 等方法照常能匹配到这些“视觉上不可见”的节点。
常见错误现象：你用浏览器开发者工具看到某个 <div class="temp-data"> 没显示，就以为 <code>soup.select(".temp-data") 会返回空列表——结果它确实返回了，还带了一堆空格和注释。
- 真正影响解析的是 HTML 结构本身，不是渲染状态
-
hidden属性会被保留为Tag.has_attr("hidden")，可用来过滤 -
style="display: none"只是普通字符串，需手动解析style属性值才能识别 - 若服务端做了条件渲染（如 Jinja2 的
{% if show %}...{% endif %}），那源码里根本不存在该元素——这才是真正的“不可见”
lxml XPath 能否跳过 visibility: hidden 元素？
不能。XPath 作用于 HTML 文档树，和 CSS 渲染无关。visibility: hidden 是纯样式控制，lxml 不解析 CSS，也不会读取浏览器计算后的样式（computed style）。
但你可以用 lxml 配合属性或内联样式做粗筛：
- 匹配带
hidden属性的元素：doc.xpath('//*[@hidden]') - 匹配含
display: none的内联样式：doc.xpath('//*[contains(@style, "display:") and contains(@style, "none")]') - 注意：这种写法脆弱，
display:flex或display: grid !important会导致误判
想只提取“用户实际能看到的内容”，该怎么做？
没有银弹。HTML 解析器本身不模拟渲染，所以必须结合规则人工判断哪些内容“逻辑上应被忽略”。关键不是“怎么藏”，而是“为什么藏”：
- 如果用
display: none或hidden表示“暂不启用的功能模块”，建议统一加语义类名，如class="js-feature-disabled"，然后在 Python 中soup.select(":not(.js-feature-disabled)") - 如果内容为空白（仅空格/换行），用
el.get_text().strip() == ""过滤，比检查样式更可靠 - 动态内容（如 Vue/React 渲染后才出现的）无法靠静态解析获取，必须用 Puppeteer 或 Playwright 获取最终 DOM
- 别依赖
aria-hidden="true"做内容过滤——它只面向辅助技术，不代表内容无意义
JavaScript 动态隐藏的元素，Python 脚本能拿到吗？
不能，除非你用支持 JS 执行的引擎。requests + BeautifulSoup 拿到的是原始 HTML，里面没有执行过的 JS 逻辑。
例如这段代码：
<div id="dynamic">初始内容</div>
<script>document.getElementById("dynamic").style.display = "none";</script>
BeautifulSoup 解析后，#dynamic 依然存在且文本为“初始内容”。要拿到 JS 执行后的状态，得用：
-
Playwright（推荐）：page.content()返回渲染后 HTML -
Selenium：driver.page_source，但启动慢、资源重 - 注意：即使拿到渲染后 HTML，
display: none的元素仍保留在 DOM 中，只是get_attribute("offsetHeight")为 0 —— 这个值 Python 无法直接读取，必须通过浏览器上下文获取
