怎样在Python中使用BeautifulSoup提取新闻网站文本和图片-Python教程-PHP中文网

直接用BeautifulSoup提取新闻网站正文和图片可行，但需搭配requests获取HTML，并避开反爬与结构陷阱：动态内容需检查JS加载逻辑，class名易变应优先用组合CSS选择器定位；图片常藏于data-src等属性而非src，文本提取推荐get_text(strip=True, separator=' ')避免空行乱码。

怎样在python中使用beautifulsoup提取新闻网站文本和图片

直接用 BeautifulSoup 提取新闻网站的文本和图片是可行的，但必须搭配 requests 先拿到 HTML，且要避开常见反爬和结构陷阱——否则你可能拿到空列表、乱码、或一堆占位图链接。

为什么 `soup.find_all('p')` 经常抓不到正文？

新闻网站正文往往藏在动态加载的 JS 里，或者用 class 名做了混淆（比如 class="article-content__body" 或随机字符串），也可能被包裹在 <div data-testid="article-body"> 这类属性中。单纯按标签名找 <code>p 或 div 基本失效。

先用浏览器开发者工具（F12 → Elements）定位真实内容容器，右键「Copy selector」拿一个可靠的 CSS 选择器
避免硬写 soup.find('div', class_='content') —— class 值经常变，优先用 soup.select('main article .prose p') 这类组合选择器
有些站点用注释节点或  占位，BeautifulSoup 会跳过它们，但你要确认 HTML 真实下载下来了（print(len(response.text)) 看长度是否合理）

`soup.find('img')` 返回的 src 为什么全是占位符？

很多新闻站把真实图片 URL 放在 data-src、data-lazy-src 或 srcset 里，src 字段只填个 /images/placeholder.jpg。直接取 img['src'] 就会错。

统一检查常用懒加载属性：img.get('data-src') or img.get('data-lazy-src') or img.get('src')
srcset 是逗号分隔的多分辨率 URL，用 img.get('srcset', '').split(',')[0].strip().split()[0] 取第一个清晰 URL
注意相对路径：如果返回的是 //cdn.example.com/img.jpg 或 /uploads/2024/01/photo.jpg，需拼上协议或域名前缀

提取文本时，`.text` 和 `.get_text(strip=True)` 差在哪？

.text 会保留所有换行和多余空格，而新闻正文常含大量 <br>、<p></p><div class="aritcle_card flexRow artxards"> <div class="artcardd flexRow"> <a class="aritcle_card_img" rel="nofollow" href="/xiazai/skill9965" title="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac"><img src="https://img.php.cn/upload/skill/001/246/273/6adaf20dbae7c507.jpg" alt="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a> <div class="aritcle_card_info flexColumn"> <a rel="nofollow" href="/xiazai/skill9965" title="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac" class="overflowclass">macOS UI 自动化技能包 —— 用 Python 控制你的 Mac</a> <p class="overflowclass">让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限</p> </div> <a rel="nofollow" href="/xiazai/skill9965" title="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a> </div> </div> 和广告 div，导致中间塞满空行；.get_text() 更可控。

加 strip=True 自动去掉首尾空白
加 separator=' ' 把换行和块级标签间的空隙统一替换成空格，避免“标题\n\n\n正文”变成“标题正文”
慎用 string 属性——只要标签内有子标签（比如 <p>作者：<span>张三</span></p>），string 就返回 None

图片下载失败的三个隐蔽原因

拿到图片 URL 后用 requests.get(img_url) 下载，失败往往不是代码问题，而是环境或协议细节没处理好。

HTTP 重定向被忽略：requests.get(img_url, allow_redirects=True) 必须显式开启，否则 302 跳转后返回空响应
缺少请求头：headers={'User-Agent': 'Mozilla/5.0'} 是基本门槛，否则服务器直接 403
HTTPS 证书验证失败（尤其内网或测试环境）：verify=False 可临时绕过，但生产环境应配好证书路径

真正麻烦的从来不是语法，而是每个新闻站都有一套自己的 HTML 套路和反爬小动作。别指望写一个通用函数跑遍全网，每次换目标站，第一件事是打开 DevTools 看真实结构，第二件事是检查 Network 面板里图片资源的真实加载方式——这两步跳过，后面全白搭。