requests.get() 返回空或乱码主因是编码未正确设置,应优先用 r.apparent_encoding 或手动设 UTF-8/GBK;BeautifulSoup 找不到元素常因 JS 渲染导致源码无目标标签;反爬需合理 headers、控制频率;中文 URL 必须 quote 编码。

requests.get() 返回空内容或乱码
多数人卡在这一步:明明 URL 能在浏览器打开,requests.get() 却拿不到正文,或者返回一堆问号、方块。核心原因是没处理响应编码——requests 默认用 ISO-8859-1 解码,而网页实际是 UTF-8 或 GBK。
实操建议:
- 永远手动设
r.encoding,优先试r.encoding = r.apparent_encoding(基于内容自动推测,比r.encoding更靠谱) - 如果
apparent_encoding错了(比如识别成Windows-1254),就查网页,你写soup.find('div', class_='itemList')就会失败——class属性值必须完全匹配,且class_参数不支持驼峰转换 - 避免链式调用
soup.find('a').get('href'):前一步返回None就直接报AttributeError,改成两步,加if tag:判断
反爬拦截:requests 报 403 或返回验证码页面
服务器一看 User-Agent 是 python-requests/2.31.0,立刻拉黑。这不是“要加 headers”,而是要加对、加全、且模拟真实访问节奏。
把任意文章或文档内容转换成精美的全屏翻页 HTML 演示文件(幻灯片风格)。当用户发来一篇文章、文档链接、Markdown 内容、或粘贴的文本,并且希望生成演示用的 HTML 时触发。支持任意内容来源:iWiki 链接、KM 链接、本地文件路径、直接粘贴的文本。生成的 HTML 文件保存到本地工作区,并通过企微直接发送给用户。触发词示例:帮我把这篇文章做成PPT、转成演示文档、生成HTML幻灯片、做个演示、转成可以演示的格式、article to deck、make a slide。
实操建议:
- 至少带
User-Agent和Accept,示例:{'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36', 'Accept': 'text/html,application/xhtml+xml'} - 别一股脑加十多个 headers——某些站点会校验
Sec-Fetch-*等现代字段,填错反而露馅;宁可少,不要假 - 加
time.sleep(1)控制频率,但别机械等固定秒数;连续请求间隔差异太小(比如全是 1.0s)也会被识别为脚本 - 如果返回的是验证码 HTML(含
),说明已进入强反爬环节,requests基本退场,别硬刚
中文路径或参数导致 URL 编码错误
拼接 URL 时直接写 f"https://example.com/搜索?q={keyword}",结果发出去变成 %E6%90%9C%E7%B4%A2 乱码,服务端收不到预期参数。
实操建议:
- 所有动态拼入 URL 的非 ASCII 字符(中文、emoji、空格等),必须用
urllib.parse.quote()编码,例如quote(keyword, safe='') - 查询参数统一走
params参数,让requests自动处理:requests.get(url, params={'q': keyword})—— 它内部会调用urlencode,比手拼安全得多 - 路径部分(URL 中
/后面的段)不能靠params,必须手动quote,且注意safe='/'(保留斜杠不编码)
真正难的从来不是“怎么拿到 HTML”,而是判断“这个 HTML 是不是我要的那个”。每次请求后,先看 status_code,再看 content 长度和开头几十字,最后才进解析——跳过这三步,后面写的全是空中楼阁。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!










