检测死链应优先用 requests.head() 省资源，失败时回退 get 并流式处理；需全面提取 href/src/data-src 属性、转绝对 url、过滤伪协议；并发限速+异常捕获；结合状态码、content-type、重定向深度和响应内容综合判断活链。
用 requests 发起 HEAD 请求比 GET 更快更省资源
检测死链本质是验证 URL 是否返回 200/301/302 等有效状态码，而非下载整个页面。用 requests.head() 能跳过响应体传输，大幅降低带宽和时间开销。但要注意：部分网站会拒绝 HEAD 请求（返回 405），此时需 fallback 到 requests.get(..., timeout=5, stream=True) 并立即关闭连接。
实操建议：
- 默认优先发
HEAD，设置allow_redirects=True确保能捕获重定向链终点的状态码 - 捕获
requests.exceptions.MissingSchema和requests.exceptions.InvalidURL，过滤掉协议缺失或格式错误的链接（如//cdn.example.com/js.js或javascript:void(0)） - 对
405响应，自动重试GET，但加上stream=True和response.close()防止连接堆积
解析 HTML 提取外部链接时别漏掉 href、src 和 data-src
仅靠 BeautifulSoup.find_all('a', href=True) 会漏掉图片、脚本、iframe 等资源链接。真实网页中，外部资源常出现在：img[src]、script[src]、link[href]、iframe[src]，甚至懒加载用的 img[data-src]。
实操建议：
- 统一用
soup.select('[href], [src], [data-src]')抓取所有含链接属性的标签 - 逐个提取属性值后，用
urllib.parse.urljoin(base_url, raw_link)转成绝对 URL —— 尤其注意base_url必须是原始页面 URL（不是首页），否则相对路径解析会错 - 过滤掉
mailto:、tel:、javascript:、data:开头的伪协议链接，它们不走 HTTP
并发请求必须加限速和异常兜底，否则容易被封或崩掉本地 DNS
一次性对几百个外部域名发请求，极易触发目标站的反爬（返回 429 或直接断连），也容易耗尽本地文件描述符或 DNS 缓存。Python 默认的 requests 是同步阻塞的，不加控制就写 for 循环等于自找麻烦。
图片提示词生成器？不止如此。 马甲系统 —— 把脑海中的画面，翻译成AI能理解的专业表达。 用得越多，它越懂你：首次需要多问几句确认方向，用久了几乎一说就懂。 用得越多，它越快：缓存机制让后续对话越来越省。 RAG进化：成功案例持续入库，越跑越聪明。 输入「新手指南」查看完整功能介绍
实操建议：
- 用
concurrent.futures.ThreadPoolExecutor(max_workers=5)控制并发数，5 是较安全的起点；若检测量大，可配合time.sleep(0.1)在每次请求后微调节奏 - 每个请求必须包在
try/except里，捕获requests.exceptions.Timeout、requests.exceptions.ConnectionError、socket.timeout、OSError（常见于 DNS 失败） - 记录失败原因到 CSV 时，把异常类型名（
type(e).__name__）和字符串化异常（str(e)）都存下来，方便后续区分是网络问题还是目标站下线
识别“活链”不能只看状态码 200，得结合 Content-Type 和重定向深度
有些 URL 返回 200 却是 404 页面（比如 WordPress 的“页面未找到”模板），或者重定向超过 5 次陷入循环。单纯依赖 status_code 容易误判。
实操建议：
- 检查响应头
response.headers.get('Content-Type', '')，若含text/html且响应体里出现"404"、"not found"（大小写不敏感，用response.text[:2048].lower()截取前段即可）则标为疑似死链 - 用
response.is_redirect和len(response.history)判断是否重定向，超 5 跳直接记为异常，避免无限跳转 - 对 CDN 资源（如
cloudflare、akamai域名），即使返回 200 也要留意X-Cache: Error from cloudfront这类响应头，说明源站已不可达
真正难处理的是那些“半死”链接：能连上、有响应、状态码正常，但内容为空、JS 渲染后才加载、或需要 Cookie / Token 才返回真实资源。这类必须结合前端渲染工具（如 Playwright）才能覆盖，纯 requests 方案到这里就该明确边界了。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
