用requests+beautifulsoup提取所有a标签href的最稳方法是：先用requests.get(url, timeout=10)获取html并设response.encoding=response.apparent_encoding防乱码，再用soup.find_all('a', href=true)精准定位，逐个调用tag.get('href', '').strip()获取值，最后用urllib.parse.urljoin(response.url, href)统一转为绝对url并去重标准化。
用 requests + BeautifulSoup 提取所有 a 标签的 href
直接发请求拿 HTML，再用 BeautifulSoup 解析，是最稳的起点。别用正则硬扒，href 里可能有空格、换行、JS 动态拼接，正则容易漏或误匹配。
关键点：
-
requests.get(url, timeout=10)加超时，防止卡死 - 用
response.encoding = response.apparent_encoding避免中文乱码导致解析失败 -
soup.find_all('a', href=True)比find_all('a')更准——跳过没有href的空链接 - 提取时用
tag.get('href', '').strip()，防None和首尾空白
处理相对 URL，统一转成绝对地址
网页里大量是 href="/about" 或 href="contact.html" 这种相对路径，直接存会失效。必须补全为完整 URL。
推荐用 urllib.parse.urljoin(base_url, href)，它能正确处理各种边界情况：
urljoin("https://example.com/a/b", "../c") → "https://example.com/c"-
urljoin("https://example.com", "//cdn.com/js.js") → "https://cdn.com/js.js"（保留协议相对） -
urljoin("https://example.com", "https://other.com/x") → "https://other.com/x"（已是绝对地址则不变）
别手动拼字符串，base_url 一定要用 response.url（不是你传进去的原始 url），因为重定向后实际地址可能不同。
去重时注意协议、斜杠、大小写和参数顺序
看似重复的链接，可能因细微差异被当成不同链接：比如 http://a.com vs https://a.com、/page vs /page/、/x?b=1&a=2 vs /x?a=2&b=1。
简单去重用 set() 不够，得标准化后再进集合：
- 强制转小写（对域名和路径安全，但注意某些 API 区分大小写）
- 用
urllib.parse.urlparse()拆解，再用urlunparse((scheme, netloc, path, '', '', ''))去掉查询参数和锚点 - 对路径末尾斜杠做归一化（如
/blog→/blog/，或反之，保持一致即可） - 如果业务允许忽略协议差异，可统一转
https再比较
遇到 JavaScript 渲染页面怎么办？
如果目标网页的链接是 JS 动态生成（比如 React/Vue 单页应用），requests 拿到的 HTML 里根本没有这些 a 标签，这时候 BeautifulSoup 就失效了。
此时只能上无头浏览器，但别急着装 Selenium —— 先确认是否真需要：
- 打开浏览器开发者工具 → Network → 刷一下页面，看有没有 XHR/Fetch 请求返回了链接数据（JSON 接口比渲染更优先）
- 试试
curl -s "URL" | grep -o 'href=[^>]*'，快速验证是否真没静态链接 - 真要跑浏览器，
Playwright比Selenium启动快、API 更干净，且支持等待a标签出现：page.eval_on_selector_all('a[href]', 'els => els.map(e => e.href)')
动态渲染是例外场景，90% 的普通网站用 requests + BeautifulSoup 足够。先跑通静态路径，再判断要不要升级方案。
真正麻烦的是那些把链接藏在 onclick、data-url 或混淆 JS 里的页面——这时候就得结合 AST 解析或模拟执行，已经超出“快速提取”的范畴了。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
