python爬虫核心是理解网站结构、发送请求、解析html、提取数据并保存；需注意反爬机制，常用requests+beautifulsoup，配合headers、session、异常处理与节奏控制。

Python爬取网站数据，核心在于理解目标网站结构、发送请求、解析内容、提取数据并妥善保存。不复杂但容易忽略细节，比如反爬机制和请求头设置。

准备环境与基础库

安装常用库是第一步，主要用到 requests 发送HTTP请求，BeautifulSoup 或 lxml 解析HTML，re 或 json 处理文本或API数据。

• pip install requests beautifulsoup4 lxml
• 如需处理JavaScript渲染页面，可加装 selenium 或用 playwright
• 简单静态页面，requests + BeautifulSoup 足够应付大多数情况

发送合法请求，绕过基础反爬

很多网站会检查请求头（User-Agent、Referer等），直接用默认requests请求容易被拒绝或返回空内容。

Miller CSV TSV JSON 数据处理器

Miller (mlr) 是一个命令行工具，用于查询、整形和重新格式化名称索引数据，如 CSV、TSV、JSON 和 JSON Lines。它将 awk、sed、cut、join 和 sort 的功能整合到一个专为结构化数据处理而构建的单一工具中。

下载

• 手动添加 headers 字典，模拟浏览器访问
• 必要时设置 timeout 防止卡死，用 session 复用连接提升效率
• 遇到验证码、登录态、IP限制，需进一步分析：Cookie、token、接口加密逻辑

解析HTML并提取目标数据

拿到响应后，用 BeautifulSoup 解析成树结构，再通过标签名、class、id 或 CSS选择器定位元素。

• soup.find('div', class_='item') 定位单个元素
• soup.select('ul li a') 使用CSS选择器批量提取链接
• 注意动态加载内容可能不在初始HTML中，要确认是否为Ajax接口返回的JSON数据

保存数据并控制爬取节奏

提取完数据别急着存CSV或数据库，先做清洗（去空格、去重、类型转换）。同时遵守 robots.txt 和网站爬虫协议。

• 用 time.sleep() 控制请求间隔，避免高频访问被封IP
• 推荐用 pandas.to_csv() 存结构化数据，或 json.dump() 存嵌套内容
• 重要任务建议加异常捕获（ConnectionError、Timeout、AttributeError）和日志记录

基本上就这些。实际项目中难点常在页面结构多变、反爬升级、数据清洗逻辑复杂上，而不是语法本身。

Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！