本文详解如何通过设置请求头、使用css选择器精准定位，从imdb top tv shows页面提取每部剧集的完整url和标题，避免403错误与无效链接干扰。
本文详解如何通过设置请求头、使用css选择器精准定位，从imdb top tv shows页面提取每部剧集的完整url和标题，避免403错误与无效链接干扰。
在网页爬虫实践中，直接调用 requests.get() 访问 IMDb 等主流网站常会返回 403 Forbidden 错误——这并非代码逻辑错误，而是目标站点主动拦截了“非浏览器”请求。IMDb 会检查 HTTP 请求头中的 User-Agent 字段，若缺失或为默认值（如 python-requests/2.x），服务器将拒绝响应，导致 soup.find_all('a') 实际解析的是重定向页或空页面，自然无法获取预期链接。
因此，第一步必须添加合法的请求头。以下是最小可行配置：
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}
response = requests.get("https://www.imdb.com/chart/toptv/", headers=headers)
第二步是精准定位目标链接。原代码中 soup.find_all('a', href=True) 会捕获页面所有超链接（包括导航栏、广告、脚本资源等），造成大量噪声。IMDb 的电视剧排行榜中，每部剧集的链接均具有统一结构：href="/title/ttXXXXXXX/"，且其父元素包含
标题标签。此时，CSS 选择器比通用 find_all 更高效、更鲁棒：# 匹配 href 以 "/title" 开头 且 其内部包含 <h3> 标签的 <a> 元素
links = soup.select('a[href^="/title"]:has(h3)')</a>
</h3>
该选择器含义清晰：
- a[href^="/title"]： 标签的 href 属性值以 /title 开头；
- :has(h3)：该 元素内嵌有
子元素（对应剧集标题容器）。
结合两者，即可唯一锁定排行榜中全部剧集卡片的链接节点。
完整可运行示例（含数据清洗与结构化输出）：
import requests
from bs4 import BeautifulSoup
import pandas as pd
url = "https://www.imdb.com/chart/toptv/"
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}
response = requests.get(url, headers=headers)
response.raise_for_status() # 显式抛出网络错误
soup = BeautifulSoup(response.content, 'html.parser')
entries = soup.select('a[href^="/title"]:has(h3)')
data = []
for a in entries:
href = a.get('href')
if href and href.startswith('/title/'):
full_url = f"https://www.imdb.com{href}"
# 提取标题：通常格式为 "1. Stranger Things" → 取 ". " 后部分
title_text = a.get_text(strip=True)
title = title_text.split('. ', 1)[-1] if '. ' in title_text else title_text
data.append({'url': full_url, 'title': title})
df = pd.DataFrame(data)
print(df.head())
df.to_csv("imdb_top_tv_shows.csv", index=False, encoding='utf-8-sig')
⚠️ 注意事项：
- 禁止递归爬取：原始代码中的 extract_links(link.get('href')) 会导致无限跳转至子页面（如演员页、评论页），不仅违反 IMDb 的 robots.txt，也极易触发反爬机制；
- 避免硬编码延时：虽未在示例中体现，但高频请求建议添加 time.sleep(1)，尊重网站服务条款；
- 动态内容场景：若目标页面由 JavaScript 渲染（当前 IMDb 排行榜为 SSR，无需 Selenium），则需切换至 selenium 或 playwright；
- 法律与伦理提醒：仅限个人学习与非商业分析；批量采集前请查阅 IMDb Robots.txt 并遵守其限制（如 /chart/ 路径允许抓取）。
通过合理设置请求头 + 精准 CSS 选择器，你就能稳定、高效地提取结构化剧集链接，为后续文本挖掘与特征分析奠定可靠数据基础。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
