codegeex可快速生成可运行python爬虫代码，支持自然语言生成、html片段解析、分页url构造、异常容错及结构化导出五种路径，覆盖从基础抓取到生产级部署的全流程。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您希望使用CodeGeeX快速生成可运行的Python爬虫代码以抓取网页数据，则需明确目标网站结构、关键字段及分页规律。以下是多种可行的实现路径：
一、通过自然语言描述直接生成基础爬虫
该方法适用于结构清晰、无反爬机制的公开页面，CodeGeeX能根据提示词自动生成含requests与BeautifulSoup的完整脚本。
1、打开CodeGeeX Web界面（https://codegeex.cn）或启动IDE插件。
2、在输入框中键入：“用Python写一个链家杭州余杭区二手房房价爬虫，提取每套房源的标题和总价，使用requests和BeautifulSoup解析HTML”。
3、点击生成，获取包含headers设置、URL请求、HTML解析及字段提取的可执行代码。
4、将生成代码粘贴至本地Python环境，确认已安装requests与beautifulsoup4依赖。
二、基于已有HTML片段反向生成解析逻辑
当目标页面返回结构复杂或存在嵌套标签时，可提供实际HTML样例，让CodeGeeX精准定位DOM路径。
1、从浏览器开发者工具中复制一段含目标数据的HTML片段，例如：<div class="title"><a>新湖果岭</a></div>。
2、在CodeGeeX中输入：“解析以下HTML，提取class='title'内a标签的文本内容：[粘贴HTML]”。
3、接收返回的soup.find('div', class_='title').a.text.strip()等精确选择器代码。
4、将该解析逻辑嵌入主爬虫循环中，替代通用模糊匹配。
三、自动识别并构造分页URL序列
针对多页列表，CodeGeeX可依据用户提供的前几页URL，推导出通用分页规则并生成循环请求逻辑。
1、向CodeGeeX提供3个示例URL：
https://hz.lianjia.com/ershoufang/yuhang/
https://hz.lianjia.com/ershoufang/yuhang/pg2/
https://hz.lianjia.com/ershoufang/yuhang/pg3/
2、输入提示：“根据以上URL，写出Python代码，生成第1页到第100页的完整URL列表”。
3、获取生成代码，典型输出为：[f"https://hz.lianjia.com/ershoufang/yuhang/pg{i}/" for i in range(1, 101)]。
4、将该列表用于for循环，逐页调用get_house_prices()函数。
四、注入动态等待与异常容错机制
当目标网站响应延迟或偶发HTTP错误时，需增强代码鲁棒性，CodeGeeX可生成带重试与延时的健壮版本。
1、在原始需求后追加约束条件：“加入5秒超时、3次重试机制，并捕获ConnectionError与Timeout异常”。
2、CodeGeeX将返回含try-except块与time.sleep(1)的代码段。
3、关键重试逻辑被封装为独立函数，如safe_request(url, retries=3)。
4、每次请求后插入time.sleep(1)可显著降低被封IP风险。
五、生成结构化数据导出模块
为便于后续分析，CodeGeeX支持直接生成CSV或JSON导出功能，避免手动拼接字符串。
1、在提示中明确输出格式要求：“将提取的标题与价格存入list，最后保存为house_data.csv文件，含表头‘标题,价格’”。
2、接收含csv.writer或pandas.DataFrame.to_csv()的完整写入逻辑。
3、确认生成代码中包含with open(..., 'w', newline='') as f:标准文件操作模式。
4、务必检查CSV写入时是否启用newline=''参数，否则Windows下会出现空行。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
