如何从HTML节点中提取完整文本-html教程-PHP中文网

get_text()默认线性拼接文本节点、不保留块级语义换行；需显式设separator='\n'并strip=true来实现自然段落分隔，且须预清理script/style等无关标签。

如何从html节点中提取完整文本

get_text() 是最常用但最容易误用的方法

直接调用 get_text() 看似简单，但默认行为会让段落粘连、空行错乱、中文分词断裂。它不感知 HTML 的块级语义，只是把所有文本节点线性拼接，separator 控制的是“标签之间”的连接方式，不是“保留原始换行”。

默认 separator='' → <p>第一段</p> <p>第二段</p> 变成 "第一段第二段"
separator=' ' 适合英文，但对中文会生成“第一段第二段”，中间多出空格，影响 NLP 分词或关键词匹配
strip=True 只清理每段首尾空白，不会合并连续空行；strip=False 则可能带大量 \n\n\n
遇到 <pre class="brush:php;toolbar:false;"></pre> 或内联 \n 字符串（如后端返回的纯文本），get_text() 完全无感——它只处理 DOM 树，不解析字符串内容

想保留自然段落？必须显式控制 separator 和预处理

要让 <p></p><div class="aritcle_card flexRow artxards"> <div class="artcardd flexRow"> <a class="aritcle_card_img" rel="nofollow" href="/xiazai/skill8272" title="anything-to-html"><img src="https://img.php.cn/upload/skill/000/000/081/179195588450431.jpg" alt="anything-to-html" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a> <div class="aritcle_card_info flexColumn"> <a rel="nofollow" href="/xiazai/skill8272" title="anything-to-html" class="overflowclass">anything-to-html</a> <p class="overflowclass">将调研报告、方案对比、数据分析、需求梳理、会议纪要、设计说明、代码评审、学习笔记等任务产物输出为可在浏览器直接打开的单文件 HTML，替代 Markdown 作为最终交付物。Markdown 在信息密度、视觉清晰度和可分享性上已跟不上 AI 产物的丰富度，HTML 能同时承载排版、表格、SVG 等。</p> </div> <a rel="nofollow" href="/xiazai/skill8272" title="anything-to-html" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a> </div> </div>、<h2></h2>、<div> 等块级元素之间有合理换行，关键不是“加样式”，而是用 <code>separator='\n' + 清理冗余空白。

优先用 soup.find('main').get_text(separator='\n', strip=True)，避免一上来就对整个 soup 调用
若发现换行过多（比如每个 <br> 都变成空行），先 soup.br.decompose() 或用正则后处理：re.sub(r'\n\s*\n', '\n\n', text)
含 <script></script>、<style></style>、<nav></nav> 的页面，务必提前清理：soup(['script', 'style', 'nav', 'footer']).decompose()
<i class="icon"></i> 这类空标签不影响结果，不用单独处理

遇到 `.string` 返回 None？说明节点结构不“干净”

.string 只在标签下**仅有唯一文本子节点**时才有效，一旦嵌套了任何标签（哪怕一个 <strong></strong> 或 <span></span>），就返回 None。这不是 bug，是设计约束。

错误写法：soup.div.string 对于 <div>Hello <b>World</b> </div> → None
正确替代：soup.div.get_text() 或 ''.join(soup.div.stripped_strings)
如果只要首个文本片段（忽略后续标签内容），可用 next(soup.div.stripped_strings, '')
需要逐段处理（如提取所有 <li> 文本但跳过其内部链接文字），用 [li.get_text(strip=True) for li in soup.find_all('li')]

JS 动态渲染的内容，BeautifulSoup 本身无解

如果标题、正文是通过 document.title = 'xxx' 或 el.innerHTML = 'xxx' 注入的，BeautifulSoup 解析的是原始 HTML 字符串，根本拿不到这些内容。

检查源码（Ctrl+U）：如果目标文本不在原始 HTML 中，get_text() 再怎么调参都无效
此时必须换工具：Selenium + driver.find_element(By.TAG_NAME, 'main').text，或 Playwright 的 element.text_content()
注意：driver.execute_script('return document.body.innerText') 比 .text 更接近用户所见，但需自行过滤 display: none 元素
不要对用户输入直接用 innerHTML 注入再读 innerText，有 XSS 风险；应先做白名单过滤或改用 textContent