requests+beautifulsoup拿不到javascript渲染内容，因其仅获取原始html且不执行js；document.body.innertext是浏览器dom api，在服务端python环境中不存在。
JavaScript 渲染的内容，用 requests + BeautifulSoup 拿不到——必须等 DOM 完整加载后才能提取。
为什么 document.body.innerText 在控制台能用，但爬虫里失效
因为 document.body.innerText 读取的是浏览器渲染后的 DOM 树，而 requests 只拿到原始 HTML（不含 JS 执行结果）。常见错误是：本地调试时在开发者工具 Console 里跑通了，一写进 Python 脚本就返回空或旧内容。
Article To Html
下载
文章转信息图。将文章/笔记转化为手机可读的 HTML 信息图，自动匹配视觉风格。触发场景：文章转图、笔记转图、信息图、转小红书图、做张图、可视化这篇文章、文生图。
- 静态请求（
requests.get()）不执行 JavaScript，innerHTML里压根没有动态插入的文本 -
innerText在服务端环境（如 Python 脚本）根本不存在，它是浏览器 DOM API - 即使页面有
<script></script>标签，BeautifulSoup也不会运行它
Selenium 中用 XPath 定位动态文本的健壮写法
面对结构不稳定的区域（比如广告位插入、容器标签随机替换、<div> 嵌套深度变化），硬写 <code>//div[3]/p[2]/span 几乎必然失效。应转向语义化定位：
- 用
//*[text()[normalize-space()]]匹配所有含非空文本的元素节点（注意：不是直接选/text()，Selenium 不支持返回 Text 节点） - 限定范围更安全，例如
//main//*[text()[normalize-space()]]或//article//p[text()[normalize-space()]] - 避免用
find_element_by_xpath（已弃用），改用driver.find_element(By.XPATH, "...") - 加显式等待：
WebDriverWait(driver, 5).until(EC.presence_of_element_located((By.XPATH, "...")))
提取后怎么去噪、去重、保段落
动态区域常混入按钮文案、加载提示、埋点 span、空行 div 等干扰项，element.text 直接返回会把它们全吞进去。
-
element.text.strip()只清首尾空白，中间多个换行/空格照单全收 - 推荐组合：
"\n".join(line.strip() for line in element.text.splitlines() if line.strip()) - 若需保留原文段落结构但剔除广告块，先用 CSS 选择器定位主体容器（如
.content、#article-body），再对其调用get_text(separator="\n", strip=True) - 遇到重复文案（如页脚被 JS 复制到正文末尾），可用
set()去重，但要注意顺序——此时更适合用dict.fromkeys(...)保持首次出现顺序
真正难的不是“怎么拿到”，而是“怎么确认拿到的就是用户看到的那部分”——DOM 加载时机、CSS display:none 判断、iframe 隔离、Shadow DOM 边界，这些都得在提取前验证清楚，否则看似成功，实则漏掉关键信息。
