直接用BeautifulSoup提取新闻网站正文和图片可行,但需搭配requests获取HTML,并避开反爬与结构陷阱:动态内容需检查JS加载逻辑,class名易变应优先用组合CSS选择器定位;图片常藏于data-src等属性而非src,文本提取推荐get_text(strip=True, separator=' ')避免空行乱码。

直接用 BeautifulSoup 提取新闻网站的文本和图片是可行的,但必须搭配 requests 先拿到 HTML,且要避开常见反爬和结构陷阱——否则你可能拿到空列表、乱码、或一堆占位图链接。
为什么 soup.find_all('p') 经常抓不到正文?
新闻网站正文往往藏在动态加载的 JS 里,或者用 class 名做了混淆(比如 很多新闻站把真实图片 URL 放在 作者:张三 Python 环境工具专业版功能概述Python 环境工具专业版是一项面向实际任务的技能。它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。核心要点使用时应结合输入条件选择合适的执行方式,核对必要参数、依赖环境与输出内容,并按原始要求处理异常情况。该技能适合需要稳定复用相关能力的场景,可作为自动化工作流的一部分,也便于后续检查、调整和扩展。执行完成后建议检查结果是否符合预期,并保留必要记录。使用与执行同时注意输入完整性、执行条件和输出可用性。从功能定位来看,该技能 拿到图片 URL 后用 真正麻烦的从来不是语法,而是每个新闻站都有一套自己的 HTML 套路和反爬小动作。别指望写一个通用函数跑遍全网,每次换目标站,第一件事是打开 DevTools 看真实结构,第二件事是检查 Network 面板里图片资源的真实加载方式——这两步跳过,后面全白搭。class="article-content__body" 或随机字符串),也可能被包裹在 p 或 div 基本失效。
soup.find('div', class_='content') —— class 值经常变,优先用 soup.select('main article .prose p') 这类组合选择器 占位,BeautifulSoup 会跳过它们,但你要确认 HTML 真实下载下来了(print(len(response.text)) 看长度是否合理)
soup.find('img') 返回的 src 为什么全是占位符?data-src、data-lazy-src 或 srcset 里,src 字段只填个 /images/placeholder.jpg。直接取 img['src'] 就会错。
img.get('data-src') or img.get('data-lazy-src') or img.get('src')
srcset 是逗号分隔的多分辨率 URL,用 img.get('srcset', '').split(',')[0].strip().split()[0] 取第一个清晰 URL//cdn.example.com/img.jpg 或 /uploads/2024/01/photo.jpg,需拼上协议或域名前缀提取文本时,
.text 和 .get_text(strip=True) 差在哪?.text 会保留所有换行和多余空格,而新闻正文常含大量 、 和广告 div,导致中间塞满空行;.get_text() 更可控。
strip=True 自动去掉首尾空白separator=' ' 把换行和块级标签间的空隙统一替换成空格,避免“标题\n\n\n正文”变成“标题 正文”string 属性——只要标签内有子标签(比如 ),
string 就返回 None
图片下载失败的三个隐蔽原因
requests.get(img_url) 下载,失败往往不是代码问题,而是环境或协议细节没处理好。
requests.get(img_url, allow_redirects=True) 必须显式开启,否则 302 跳转后返回空响应headers={'User-Agent': 'Mozilla/5.0'} 是基本门槛,否则服务器直接 403verify=False 可临时绕过,但生产环境应配好证书路径
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!










