codegeex辅助爬虫失败主因是反爬机制，需从五方面解决：一、构造合规请求头与会话；二、用fake_useragent动态伪装ua；三、引入代理ip与随机延迟；四、处理cookie与登录态；五、用playwright绕过js渲染。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您使用CodeGeeX辅助编写Python数据爬取代码，但目标网站存在反爬机制导致请求被拦截或返回异常内容，则可能是由于请求头缺失、未模拟真实浏览器行为、缺少会话管理或未处理JavaScript渲染等常见原因。以下是针对该问题的多种实现路径：
一、构造合规请求头与会话对象
多数网站通过检查User-Agent、Accept、Referer等请求头字段识别爬虫流量，使用requests.Session()可复用连接并统一维护请求上下文，降低被识别概率。
1、在CodeGeeX中输入提示词：“用Python写一个带随机User-Agent和基础请求头的requests Session实例”
2、将生成代码中的headers字典替换为包含以下字段的完整结构：User-Agent、Accept、Accept-Language、Accept-Encoding、Connection、Upgrade-Insecure-Requests
3、调用session.get()前，添加session.headers.update()确保每次请求携带完整头信息
4、在headers中将User-Agent值设为从列表中随机选取的真实浏览器标识，例如Chrome 120+或Edge 121+
二、集成fake_useragent动态伪装
硬编码User-Agent易被特征指纹识别，fake_useragent库可实时抓取主流浏览器最新UA字符串，提升请求合法性。
1、在CodeGeeX中输入提示词：“用Python安装并调用fake_useragent获取随机Chrome UA”
2、执行pip install fake-useragent命令安装依赖
3、初始化ua = UserAgent(browsers=['chrome', 'edge'], os=['windows', 'macos'])
4、在每次session.get()前设置session.headers['User-Agent'] = ua.random，注意捕获UserAgentError异常并提供备用UA字符串
三、引入代理IP与请求间隔控制
高频单IP访问会触发服务器限流策略，结合轮换代理与时间抖动可有效规避IP封禁。
1、在CodeGeeX中输入提示词：“用Python实现从代理API获取HTTP代理并验证可用性”
2、定义代理字典格式为{"http": "http://user:pass@host:port", "https": "https://user:pass@host:port"}
3、使用requests.get(url, proxies=proxy_dict, timeout=5)测试代理连通性
4、在循环请求间插入random.uniform(1.5, 4.2)秒延迟，避免固定sleep值形成可预测访问模式
四、处理Cookie与登录态维持
部分网站需登录后才能访问核心数据接口，直接请求HTML页面可能返回跳转响应或空内容。
1、在CodeGeeX中输入提示词：“用Python模拟表单登录并提取CSRF token与登录后cookie”
2、先GET登录页，用BeautifulSoup解析隐藏input标签中的csrf_token值
3、构造POST数据字典，包含账号密码及token字段，提交至登录接口
4、检查响应状态码与重定向URL，确认登录成功后保留session.cookies，后续所有请求均复用该session实例
五、绕过JavaScript渲染障碍
当目标页面关键数据由AJAX异步加载或通过前端框架动态渲染时，requests无法执行JS，需切换至支持渲染的工具链。
1、在CodeGeeX中输入提示词：“用Playwright同步等待网络请求完成并提取JSON响应体”
2、启动无头Chromium实例，设置user_agent与viewport参数模拟真实设备
3、使用page.goto()加载页面后，监听指定XHR/Fetch请求，调用response.json()获取原始数据
4、对关键元素添加page.wait_for_selector()并设置timeout=10000，防止因网络波动导致元素未加载而抛出TimeoutError
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
