直接爬取主流招聘网站岗位数据不可行，因存在反爬机制、js动态渲染、登录墙及法律风险；requests无法获取真实数据，selenium虽能绕过技术限制但慢且违法；应选用官方api、第三方数据服务或公开薪酬报告等合规方案。
不能直接抓取主流招聘网站的岗位数据——它们有反爬机制、动态渲染、登录墙和法律风险，硬写 requests + BeautifulSoup 大概率返回空页、验证码或被封IP。
为什么用 requests 直接请求会失败？
拉勾、BOSS直聘、前程无忧等平台首页看似是HTML，实际岗位列表由前端 JS 动态加载，requests.get() 拿到的只是壳页面；同时它们校验 User-Agent、Referer、Cookie 甚至请求频率，部分接口还要求带加密参数（如 BOSS 的 sign）或登录态 token。
- 常见错误现象：
Response 200但bs4.find_all("div", class_="job-list")返回空列表 - 抓到的数据全是“请开启 JavaScript”或“验证中…”的占位 HTML
- 请求头没模拟到位时，服务器直接返回
403 Forbidden或跳转到验证码页
用 selenium 能绕过所有限制吗？
能加载 JS、能点按钮、能滑动验证，但代价高：慢、不稳定、易被识别为自动化流量。更关键的是——它不解决法律与协议问题。招聘网站 robots.txt 明确禁止爬岗位列表，用户协议也写明“禁止以任何方式获取非公开数据”。
- 运行
selenium抓取 BOSS 直聘，大概率触发人机验证（极验/拼图），自动过验方案已失效多年 - 即使成功，单次抓取 100 条岗位可能耗时 3–5 分钟，且连续运行几小时后 IP 被加入黑名单
- 生成的
chromedriver进程残留、浏览器弹窗、无头模式识别率升高，都是运维负担
真正可用的替代方案是什么？
放弃“直接爬”，转向合规、稳定、可批量的数据源：
- 使用招聘平台官方开放 API（如猎聘企业版 API、智联招聘开放平台），需企业资质认证和付费订阅
- 接入第三方数据服务商（如「薪情」、「职友集」API），按调用量计费，返回结构化岗位+薪资字段，含去重和清洗
- 用
akshare（Python 库）获取公开的行业薪酬报告，例如：akshare.salary_get()返回历年分城市、分岗位的中位数薪资（基于抽样调研，非实时） - 若仅做教学演示，可本地 mock 数据：
pd.DataFrame生成带salary_min、salary_max、city、job_name的 500 行样本，再用matplotlib或seaborn统计分布
真实项目里，最常被忽略的一点是：薪资字段本身不可信——招聘页写的“15K–25K”可能是税前/税后、含不含绩效、是否包含补贴。哪怕你绕过了所有技术障碍，拿到原始字符串后，还得做正则清洗（re.findall(r"(\d+\.?\d*)K", text)）、单位归一（K/月 → 元/年）、区间处理（取均值 or 中位数），这步比爬虫本身更耗时。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
