在Windows上用Python爬虫抓取网页公开数据，需安装Python并配置PATH、安装requests和BeautifulSoup4等库，编写含反爬头和异常处理的脚本，遵守robots协议与频率限制，优先选用开放数据接口，并将结果保存为UTF-8-SIG编码CSV文件。
在Windows系统上用Python爬虫抓取网页公开数据，需先搭建可运行环境、安装必要库、编写基础请求与解析逻辑，并确保遵守目标网站的robots协议和访问频率限制。
安装Python并配置环境变量
前往python.org下载最新稳定版Windows安装包（如Python 3.12），运行安装程序时【务必勾选“Add Python to PATH”】，否则后续所有命令行操作都会失败。
安装完成后，按Win+R输入cmd，执行python --version和pip --version，两行均显示版本号即为成功。
安装requests和BeautifulSoup4核心库
在命令提示符中逐行执行：
pip install requests
pip install beautifulsoup4
推荐额外安装lxml解析器：pip install lxml，它比默认的html.parser快且容错更强，尤其处理政府网站常见的不规范HTML时更可靠。
编写第一个合法爬虫脚本
第一步：新建一个文本文件，重命名为gov_crawler.py，用记事本或VS Code打开。
第二步：粘贴以下代码（已含基础反爬头与异常防护）：
Windows 桌面自动化技能，支持鼠标控制（移动/点击/拖拽/滚轮/截图）、键盘输入（文字输入/按键/组合键）、窗口管理（查找/聚焦/最大化/最小化/关闭/移动）、截图并发送文件。提供两种截图方式：Python pyautogui 截图（集成在自动化流程中）和 PowerShell + .NET 零依赖截图（支持区域截图和多显示器）。当用户需要自动化 Windows 桌面操作、控制鼠标键盘、管理窗口、执行 GUI 自动化任务、截图发送文件时使用。
import requests<br>from bs4 import BeautifulSoup<br>import time<br><br>headers = {<br> "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"<br>}<br><br>url = "http://www.gd.gov.cn/zwgk/wj/qbwj/" # 示例：广东省政府公报页<br>try:<br> resp = requests.get(url, headers=headers, timeout=10)<br> resp.raise_for_status()<br> resp.encoding = resp.apparent_encoding<br> soup = BeautifulSoup(resp.text, "lxml")<br> titles = soup.select(".list-item a")<br> for i, t in enumerate(titles[:5]):<br> print(f"{i+1}. {t.get_text(strip=True)} — {t.get('href')}")<br>except requests.exceptions.RequestException as e:<br> print("请求失败：", e)
第三步：保存文件，在命令提示符中进入该文件所在目录，执行python gov_crawler.py。若看到前5条标题及链接正常打印，说明爬虫已可运行。
确认目标网站合法性并规避风险
方法一：直接访问目标域名/robots.txt（例如http://www.moa.gov.cn/robots.txt），查看Disallow:字段是否禁止爬取你所需路径。若该文件返回404或为空，不代表可随意爬，仍需人工核查网站《使用条款》或《信息公开指南》。
方法二：对政府类网站，优先选择明确标注“开放数据”“数据开放平台”“API接口”的栏目，如“国家统计局数据库”“信用中国API”，这类资源通常提供结构化JSON响应，无需解析HTML，也天然合规。
【关键提醒】不要尝试绕过登录态抓取需实名认证的内部公示信息，此类行为既违反《网络安全法》第四十四条，也超出本教程所指“公开数据”范畴。
将多页数据保存为CSV文件
① 在脚本开头添加：import csv
② 替换原打印循环部分为：
with open("gov_notices.csv", "w", newline="", encoding="utf-8-sig") as f:<br> writer = csv.writer(f)<br> writer.writerow(["序号", "标题", "链接", "抓取时间"])<br> for i, t in enumerate(titles[:5]):<br> title = t.get_text(strip=True)<br> link = t.get("href")<br> if not link.startswith("http"):<br> link = "http://www.gd.gov.cn" + link<br> writer.writerow([i+1, title, link, time.strftime("%Y-%m-%d %H:%M")])
③ 运行后，当前目录下将生成gov_notices.csv，可用Excel直接打开。注意utf-8-sig编码可避免Windows Excel乱码。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
