textContent 更可靠但需谨慎选择节点并过滤;innerText 适合获取用户可见文本,而 XPath 应用 //a//text() 获取完整内容,去重前须归一化空白与大小写。

textContent 比 innerText 更可靠,但直接用它取 @#@#@#@#@#@#@#@#@#@0 调用 textContent,却没意识到:父容器用了 display: flex 或 white-space: nowrap,导致子节点(如 、)被渲染为独立文本节点;textContent 会把所有子文本节点拼起来,中间可能夹着大量空格或换行。更糟的是,如果 @#@#@#@#@#@#@#@#@#@1,这类链接 innerText 为空,但你真正想提取的是它的 aria-label 或父级 title。硬写循环判断太啰嗦,现代 CSS 选择器可一步到位。
实操建议:
- 只取“有可见文本子节点”的链接:
document.querySelectorAll('a:has(text())')(注意:Chrome 120+ / Safari 17.4+ 支持,Firefox 尚未支持) - 兼容旧版浏览器?改用
document.querySelectorAll('a:not(:empty)'),但需注意:empty不匹配含空格或换行的 - 更稳妥的通用写法:
Array.from(document.querySelectorAll('a')).filter(a => a.textContent.trim()),明确以非空文本为判断依据
Python 中用 lxml 提取链接文本时,//a/text() 为什么常返回空列表
因为 XPath 的 //a/text() 只匹配 元素**直接子节点中的文本节点**,不包含其后代标签里的文本。例如 Click here,//a/text() 只返回 ['Click '] (注意末尾空格),而 here 是元素节点,不是文本节点。
实操建议:
- 要获取完整链接文本(含内联标签内容),用
//a//text()(两个斜杠),再''.join(texts).strip() - 若需区分主文本与装饰性标签(如
®),应先用//a/node()获取全部子节点,再按node.nodeType分类处理 - 警惕
//a/descendant-or-self::text()—— 它会把里的 “hidden” 也拉进来,而该hidden可能被 CSS 隐藏提取后去重:别用
Set直接套innerText直接
new Set(Array.from(links).map(a => a.innerText))会把 “Download PDF” 和 “download pdf” 当作不同项,也会把 “Contact us” 和 “Contact us”(含)视为两个字符串。这不是去重,是制造假差异。实操建议:
- 标准化前先归一化空白:
a.innerText.replace(/\s+/g, ' ').trim() - 忽略大小写比较时,统一转小写:
.toLowerCase(),但注意某些语言(如土耳其语)有特殊规则,简单场景够用 - 若需语义去重(比如 “Buy now” 和 “Purchase now” 视为等价),必须引入 NLP 工具,
Set无法解决 - 最易被忽略的一点:链接文本相同但指向不同 URL,是否该合并?这取决于业务逻辑,代码里得显式加
Map或Map来区分>
- 标准化前先归一化空白:
前端入门到VUE实战笔记:立即使用
在学习笔记中,你将探索 前端 的入门与实战技巧!











