sharegpt从chrome扩展演变为ai训练数据集：一、2022年12月起作为本地抓取对话生成分享链接的浏览器工具；二、2023年起因公开可爬成为研究者数据源；三、2024年下半年起工程化清洗为jsonl格式开源数据集；四、2025年起以cc by-nc 4.0协议分发，用于sft与评估。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您关注AI社区中对话数据的流转与再利用，会发现ShareGPT并非始终以单一形态存在——它最初是一个浏览器工具，后来演变为数据基础设施。以下是这一演变过程的关键节点说明：
一、Chrome扩展阶段（2022年12月–2024年初）
ShareGPT项目于2022年12月8日由Steven Tey和Dom Eccleston发布，定位为一个轻量级Chrome浏览器扩展，核心目标是解决用户在ChatGPT网页版中无法便捷导出完整对话的问题。该扩展不依赖后端服务即可完成本地DOM抓取、结构化提取与链接生成，所有对话元数据（包括时间戳、模型版本、用户提问与AI回复轮次）均被封装为可分享的URL。
1、安装扩展后，在ChatGPT网页界面右上角出现“Share”按钮。
2、点击按钮，扩展自动识别当前对话窗口中的全部消息节点。
3、对每条消息进行角色标注（user / assistant），并按时间顺序序列化为JSON对象。
4、将JSON提交至ShareGPT托管服务（sharegpt.com），返回唯一短链供公开传播。
二、社区沉淀与数据爬取兴起（2023年中–2024年中）
随着数百万条用户分享的对话在sharegpt.com上持续积累，其公开可访问性吸引了研究者与开发者注意。该网站未设置严格访问控制，且页面结构高度一致，使得自动化采集成为可能。此时，ShareGPT作为“数据源”的价值开始超越其原始工具属性。
1、开发者通过分析网页HTML结构，识别出每条分享卡片对应的唯一ID与API端点。
2、使用无头浏览器或HTTP客户端模拟请求，逐页获取分享列表及详情页内容。
3、解析响应中嵌入的JSON脚本标签，提取原始对话文本与元信息字段。
4、对重复URL、空对话、含敏感词或低质量回复的样本执行初步过滤。
用于在用户想通过浏览器自动化与 Google Gemini 或 ChatGPT 交互时。触发短语包括“ask Gemini”“ask ChatGPT”“ask GPT”“让...”。
三、数据集工程化阶段（2024年下半年起）
当原始爬取数据达到百万级规模后，清洗、去重、格式标准化成为刚需。domeccleston/sharegpt等衍生项目应运而生，它们不再提供前端功能，而是专注构建可直接用于机器学习任务的数据资产。这些项目将分散的HTML页面转化为统一schema的JSONL文件，每行对应一条多轮对话记录，并附加质量评分与来源标记。
1、将原始爬取的HTML文档批量转换为中间结构化表示（如Python dict）。
2、依据预设规则剔除含广告、乱码、单轮无意义问答的样本。
3、对跨分享ID的相同对话进行指纹哈希比对，执行全局去重。
4、将清洗后数据按instruction、input、output三字段映射，适配Hugging Face Datasets标准加载协议。
四、开源数据集分发与下游应用（2025年起）
经工程化处理的数据集被上传至Hugging Face Hub与GitHub，采用CC BY-NC 4.0许可协议发布。其主要消费场景已从个人分享转向模型训练：微调指令跟随能力、构造SFT（Supervised Fine-Tuning）样本、生成评估基准测试集。部分数据集还额外标注了对话主题分类、难度等级与事实一致性得分，服务于更精细的建模需求。
1、在Hugging Face搜索“sharegpt”关键词，筛选star数≥500的官方认证仓库。
2、使用datasets.load_dataset()直接加载远程JSONL流，无需本地下载。
3、检查数据集info.json中提供的schema定义，确认conversations字段嵌套层级。
4、调用dataset.train_test_split(test_size=0.05)划分训练/验证子集。
