最可靠的段落提取方法是先用find_all("p")定位段落，再逐个调用get_text(strip=true)；对div伪装段落需按class或css选择器识别；js渲染内容须改用selenium等方案。

get_text() 不是万能的，直接调用常导致换行混乱、空格堆积或段落粘连。真正能稳定提取段落文本的，是结合标签定位 + 分隔符控制 + 结构判断的组合操作。

用 find_all("p") 定位段落再逐个 get_text()

这是最可靠的第一步：不依赖全文解析，而是明确只抓 <p></p> 标签。浏览器和 CMS 生成的内容中，语义化段落基本都落在 <p></p> 内，比通配 get_text() 更可控。

• 必须加 strip=True，否则每段首尾常带大量换行/空格
• 对每个 <p></p> 单独调用 .get_text(strip=True)，避免跨段污染
• 若段落内含 <strong></strong>、<em></em> 等内联标签，get_text() 默认会保留其文本，无需额外处理
• 遇到空 <p></p> 或仅含 <br> 的情况，get_text(strip=True) 返回空字符串，可直接过滤

get_text(separator="\n", strip=True) 的真实效果

很多人以为设了 separator="\n" 就能“按段落换行”，其实它只是在相邻文本节点之间插入换行——而 HTML 中的 <p></p>、<div>、<code><h2></h2> 等块级元素之间未必有独立文本节点。结果往往是：两段之间多出 3–5 个 \n，中间还夹着空格。

• 仅适用于结构极简、无嵌套、无 JS 动态插入的静态 HTML
• separator 对同一标签内的换行无效（比如 <p>第一行<br>第二行</p><div class="aritcle_card flexRow artxards"> <div class="artcardd flexRow"> <a class="aritcle_card_img" rel="nofollow" href="/xiazai/skill8714" title="HTML汇报生成器"><img src="https://img.php.cn/upload/skill/000/000/081/179220974213190.jpg" alt="HTML汇报生成器" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a> <div class="aritcle_card_info flexColumn"> <a rel="nofollow" href="/xiazai/skill8714" title="HTML汇报生成器" class="overflowclass">HTML汇报生成器</a> <p class="overflowclass">🚀 不用写一行代码！把项目总结、工作汇报、研究报告、技术文档、提案、数据看板直接变精美HTML。12种主题 × 11种背景动效 × 9种鼠标特效 × 10种边框样式 × 实时调色器 × 毛玻璃卡片 × PDF导出，生成后还能自由调色，零门槛AI直出。触发词：项目总结、工作汇报、PPT、生成报告、做个总结、HTML文档、数据报告、流程文档、会议纪要、技术文档、研究报告、数据看板、提案、做个展示页、帮我做个汇报、文档生成。</p> </div> <a rel="nofollow" href="/xiazai/skill8714" title="HTML汇报生成器" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a> </div> </div> 中的 <br> 不产生新节点）
• 中文场景下慎用 separator=""，易造成“段落一结尾字”和“段落二开头字”粘连成词

遇到 <div> 伪装段落怎么办？ <p>不少 CMS 或前端框架不用 <code><p></p>，而用 <div class="paragraph"> 或 <code><div style="margin:1em 0"> 模拟段落。这时不能硬编码找 <code>p，得靠属性或样式线索。

• 优先查 class 名称：如 soup.find_all("div", class_=re.compile(r"(para|text|content|post)-?body", re.I))
• 用 CSS 选择器更灵活：soup.select("div.paragraph, div.article-content > div:not([class])")
• 若只有视觉线索（如上下边距），get_text() 无法感知 CSS，只能退回到人工标注样本 + 正则启发式匹配
• 注意排除导航栏、页脚等同为 div 但非正文的区块，建议先 soup.body 或限定在 article/main 内操作

JavaScript 渲染内容导致 <p></p> 找不到

用 requests 拿到的 HTML 里压根没有 <p></p>？那大概率内容是 JS 动态注入的。此时 BeautifulSoup 解析的是初始 HTML 骨架，不是用户看到的页面。

• 先确认：打开浏览器开发者工具 → Elements 面板，搜索 <p></p>，看是否存在；再切到 Network → 刷页面，看 XHR/Fetch 请求是否返回 JSON 或 HTML 片段
• 若确认是动态加载，requests + BeautifulSoup 失效，必须换 Selenium 或 Playwright 等浏览器自动化方案
• 小概率可绕过：某些站点 API 接口未鉴权，直接请求 /api/content?id=123 可能拿到纯文本或结构化数据
• 不要试图用正则从 JS 字符串里硬挖 <p></p>，维护成本高且极易断裂

真正难的从来不是“怎么写一行 get_text()”，而是判断当前 HTML 的段落是否由语义标签承载、是否被 JS 延迟渲染、是否被 CSS 视觉模拟——这些信息不会出现在代码里，得靠 inspect 元素、看 network 请求、甚至读 CMS 文档才能确认。