本文详解使用 BeautifulSoup 抓取新闻标题及链接时常见错误（如误用不存在的 absolute_links 属性），并提供健壮、可落地的解决方案，涵盖相对链接转绝对链接的处理逻辑与异常防护。
本文详解使用 beautifulsoup 抓取新闻标题及链接时常见错误（如误用不存在的 `absolute_links` 属性），并提供健壮、可落地的解决方案，涵盖相对链接转绝对链接的处理逻辑与异常防护。
在网页新闻爬虫实践中，一个高频痛点是：能顺利提取标题，却无法获取对应链接。问题根源往往在于对 BeautifulSoup 元素属性的误解——例如代码中调用 items.absolute_links，但该属性根本不存在于 Tag 对象中（absolute_links 并非 BeautifulSoup 的内置属性，属典型误用）。
正确做法是：定位到
标签下嵌套的 标签，再通过其 href 属性获取链接。Yahoo Finance 等网站的新闻标题通常以 包裹 标签，因此需先用 .a 获取首个 子元素，再安全读取 ['href']。以下为优化后的完整示例代码，包含异常处理与相对链接补全逻辑：
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin
url = 'https://ca.finance.yahoo.com/industries/energy/'
base_url = 'https://ca.finance.yahoo.com'
response = requests.get(url)
response.raise_for_status() # 确保请求成功
soup = BeautifulSoup(response.content, 'html.parser')
articles = soup.find_all('h3', class_='Mb(5px)')
for item in articles:
title = item.get_text(strip=True)
link_tag = item.find('a') # 更健壮：显式查找 a 标签，而非依赖 .a（可能为 None）
if link_tag and link_tag.get('href'):
href = link_tag['href']
# 自动将相对链接转为绝对链接
absolute_link = urljoin(base_url, href)
print(f"标题: {title}")
print(f"链接: {absolute_link}")
print("-" * 50)
else:
print(f"标题: {title} → 无有效链接")
print("-" * 50)
关键改进点说明：
- ✅ 使用 item.find('a') 替代 item.a，避免因缺失 导致 AttributeError；
- ✅ 用 link_tag.get('href') 安全获取属性，防止 KeyError；
- ✅ 引入 urllib.parse.urljoin() 自动处理相对路径（如 /news/article?...）与绝对路径（如 https://...），无需手动字符串拼接或正则判断；
- ✅ 添加 response.raise_for_status() 确保网络异常被及时捕获；
- ✅ get_text(strip=True) 清理首尾空白，提升标题整洁度。
注意事项：
- Yahoo Finance 页面结构可能随前端更新而变化，建议定期验证 class_='Mb(5px)' 是否仍准确匹配标题容器；
- 若目标站点启用 JavaScript 渲染（如部分动态加载新闻），requests + BeautifulSoup 将无法获取内容，此时需改用 Selenium 或 Playwright；
- 遵守 robots.txt 及网站 Terms of Service，合理设置请求间隔，必要时添加 headers={'User-Agent': '...'} 模拟真实浏览器访问。
掌握这一模式后，即可稳定、可维护地批量提取任意新闻列表页的标题与链接，为后续数据清洗、去重或入库打下坚实基础。
以下为优化后的完整示例代码，包含异常处理与相对链接补全逻辑：
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin
url = 'https://ca.finance.yahoo.com/industries/energy/'
base_url = 'https://ca.finance.yahoo.com'
response = requests.get(url)
response.raise_for_status() # 确保请求成功
soup = BeautifulSoup(response.content, 'html.parser')
articles = soup.find_all('h3', class_='Mb(5px)')
for item in articles:
title = item.get_text(strip=True)
link_tag = item.find('a') # 更健壮：显式查找 a 标签，而非依赖 .a（可能为 None）
if link_tag and link_tag.get('href'):
href = link_tag['href']
# 自动将相对链接转为绝对链接
absolute_link = urljoin(base_url, href)
print(f"标题: {title}")
print(f"链接: {absolute_link}")
print("-" * 50)
else:
print(f"标题: {title} → 无有效链接")
print("-" * 50)
关键改进点说明：
- ✅ 使用 item.find('a') 替代 item.a，避免因缺失 导致 AttributeError；
- ✅ 用 link_tag.get('href') 安全获取属性，防止 KeyError；
- ✅ 引入 urllib.parse.urljoin() 自动处理相对路径（如 /news/article?...）与绝对路径（如 https://...），无需手动字符串拼接或正则判断；
- ✅ 添加 response.raise_for_status() 确保网络异常被及时捕获；
- ✅ get_text(strip=True) 清理首尾空白，提升标题整洁度。
注意事项：
- Yahoo Finance 页面结构可能随前端更新而变化，建议定期验证 class_='Mb(5px)' 是否仍准确匹配标题容器；
- 若目标站点启用 JavaScript 渲染（如部分动态加载新闻），requests + BeautifulSoup 将无法获取内容，此时需改用 Selenium 或 Playwright；
- 遵守 robots.txt 及网站 Terms of Service，合理设置请求间隔，必要时添加 headers={'User-Agent': '...'} 模拟真实浏览器访问。
掌握这一模式后，即可稳定、可维护地批量提取任意新闻列表页的标题与链接，为后续数据清洗、去重或入库打下坚实基础。
