最可靠方式是直接用浏览器“查看页面源代码”(ctrl+u)后手动保存为utf-8编码的.html文件;requests保存需用response.content.decode('utf-8')而非response.text,写入时显式指定encoding='utf-8',避免乱码;完整保存html应跳过beautifulsoup解析,直接写入response.content。

直接用浏览器“查看页面源代码”最可靠
多数人写脚本前没试过这个——右键网页空白处选「查看页面源代码」(或 Ctrl+U),新标签页打开后直接 Ctrl+S 保存,文件类型选「所有文件」,后缀写 .html,编码选 UTF-8。这是唯一能拿到服务器原始响应、不经过 JS 渲染的干净 HTML 的方式。
常见错误:在原网页标签页里点「另存为」→ 选「网页,全部」,结果生成一堆文件夹和资源,主 HTML 文件还被浏览器自动补全了 <meta>、<script></script> 标签,甚至把动态插入的内容也塞进去了。这不是源码,是渲染快照。
注意:Firefox 的「查看页面源代码」页保存时默认是 UTF-8;Chrome 有时会用系统编码(如 Windows 的 cp1252),手动指定编码更稳妥。
requests.get() 保存 HTML 容易乱码?关键在 content 而非 text
response.text 依赖响应头里的 Content-Type,而很多网站压根不写 charset,或写错成 ISO-8859-1,导致中文变 。别碰 response.text,改用 response.content:
- 用
response.content.decode('utf-8', errors='ignore')强制按 UTF-8 解码(适合已知页面是 utf-8) - 不确定编码时,装
chardet:encoding = chardet.detect(response.content)['encoding'] or 'utf-8',再 decode - 写入文件必须显式指定
encoding='utf-8',否则 Windows 下默认用 cp1252,一写中文就报UnicodeEncodeError
想保存完整 HTML(含 script/style/注释)?别过 BeautifulSoup
用 BeautifulSoup(html, 'lxml') 解析后再 soup.prettify() 或 str(soup) 输出,会丢 <script></script>、<style></style>、HTML 注释,甚至重排属性顺序——本地双击打开可能白屏或样式错乱。
实操建议:
- 目标是「备份源码」:跳过解析,直接
open('page.html', 'wb').write(response.content) - 必须用 BS 做简单清洗(比如删广告 div):初始化加参数
preserve_whitespace_tags=['script','style'],再用str(soup)输出 - 如果用了
lxml解析器但没装lxml包,BS 会静默降级到html.parser,输出结构可能不一致,检查日志或打印soup.original_encoding
动态 SPA 页面怎么办?别用 requests,换 Playwright 或 Puppeteer
requests 只拿得到初始 HTML,像 React/Vue 构建的页面,关键内容在 JS 执行后才注入 DOM。这时 response.content 里只有空容器,比如 <div id="root"></div>。
解决路径很明确:
- 用 Playwright 启动无头 Chromium:
page.content()返回 JS 渲染后的完整 HTML(含动态插入内容) - 需要等某个元素出现再截图或取 HTML?用
page.wait_for_selector('main .article') - 不想装大依赖?curl + 浏览器 DevTools 的「Copy as cURL」也能拿到带 Cookie 和 UA 的请求,但无法执行 JS
注意:Playwright 默认超时 30 秒,如果页面 JS 加载慢,要设 timeout=60000;导出前最好 page.evaluate('window.scrollTo(0, document.body.scrollHeight)') 确保懒加载内容已触发。
前端入门到VUE实战笔记:立即使用
在学习笔记中,你将探索 前端 的入门与实战技巧!











