ShareGPT数据集下载方法:获取公开对话数据用于研究的完整操作指南

星夢妙者

星夢妙者

2026-05-21

498人浏览

原创

可通过四种方式下载sharegpt数据集:一、git clone官方github仓库;二、用curl/wget直接下载json文件;三、通过hugging face datasets库加载导出;四、用aria2c多线程加速下载。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

sharegpt数据集下载方法:获取公开对话数据用于研究的完整操作指南

如果您希望获取ShareGPT数据集用于学术研究或模型训练,需通过其官方GitHub仓库及社区镜像源下载原始JSON格式的公开对话数据。以下是完成下载的完整操作步骤:

一、从官方GitHub仓库克隆数据集

ShareGPT数据集由社区维护,主仓库托管在GitHub上,包含结构化JSONL文件与元信息说明。直接克隆可确保获取最新提交版本,并保留完整的提交历史与数据变更记录。

1、打开终端(macOS/Linux)或Git Bash(Windows),执行命令:git clone https://github.com/domeccleston/sharegpt.git

2、进入项目目录:cd sharegpt

3、查看可用数据文件列表:ls -l data/(常见文件如sharegpt_english.json、sharegpt_zh.json)

二、使用curl或wget下载单个JSON文件

若仅需特定语言子集或受限于网络环境无法使用Git,可跳过克隆,直接通过HTTP请求下载已发布的压缩包或原始JSON文件。该方式适合低带宽或防火墙严格环境。

1、访问ShareGPT发布页获取最新文件URL,例如:https://huggingface.co/datasets/anon8231489123/ShareGPT_Vicuna_unfiltered/resolve/main/sharegpt_html_clean.json

2、在终端中运行下载命令:curl -L -o sharegpt_html_clean.json "https://huggingface.co/datasets/anon8231489123/ShareGPT_Vicuna_unfiltered/resolve/main/sharegpt_html_clean.json"

3、验证文件完整性:sha256sum sharegpt_html_clean.json(比对README中提供的校验值)

Pebblely
Pebblely

AI产品图精美背景添加

下载

三、通过Hugging Face Datasets库加载并导出

Hugging Face平台托管了多个经清洗与标准化的ShareGPT衍生数据集,支持Python接口直接加载、采样与本地保存,适用于需要动态过滤或分批处理的研究场景。

1、安装依赖:pip install datasets

2、运行Python脚本加载数据:from datasets import load_dataset; ds = load_dataset("anon8231489123/ShareGPT_Vicuna_unfiltered", split="train")

3、导出为本地JSONL文件:ds.to_json("sharegpt_local.jsonl", orient="records")

四、使用aria2c加速多线程下载大文件

当目标文件体积超过1GB且网络延迟较高时,aria2c可启用并发连接与断点续传,显著提升下载稳定性与速度,尤其适用于中国大陆用户访问境外托管资源。

1、安装aria2c:brew install aria2(macOS)或sudo apt install aria2(Ubuntu)

2、构造下载命令,启用5线程:aria2c -x 5 -s 5 -k 1M "https://huggingface.co/datasets/anon8231489123/ShareGPT_Vicuna_unfiltered/resolve/main/sharegpt_html_clean.json"

3、检查下载完成状态:ls -lh sharegpt_html_clean.json

相关专题

更多
墨刀AI提示词教学
墨刀AI提示词教学

本合集由PHP中文网精心整理,为您提供全面的墨刀AI提示词教学。内容涵盖高质量原型撰写公式与实操窍门,助您轻松掌握AI设计工具。无论是零基础入门还是进阶技巧,都能让您快速上手,大幅提升产品设计与协作效率。

2026.08.04

10

21

墨刀AI完整入门
墨刀AI完整入门

PHP中文网为您倾力打造墨刀AI保姆级入门指南完整版!本合集从零基础讲起,涵盖AI生成原型、提示词优化、图片转原型及多轮对话等核心功能。无论您是新手还是进阶用户,都能轻松掌握产品设计全流程。快来PHP中文网,一键解锁高效设计技巧,让想法即刻成型!

2026.08.04

7

20

墨刀AI进阶技巧
墨刀AI进阶技巧

本合集由PHP中文网精心整理,为您提供墨刀AI核心进阶策略指南。内容涵盖高效提示词写作、原型智能生成与微调、结构化导图制作及行业分析报告输出等实战技巧。助您轻松掌握AI设计工具,大幅提升产品设计与团队协作效率。

2026.08.04

10

14

火山引擎实名认证失败怎么办
火山引擎实名认证失败怎么办

火山引擎实名认证失败可能与证件信息填写错误、姓名或企业信息不一致、证件照片不清晰、营业执照状态异常、手机号验证失败或审核资料不完整有关。本专题整理个人认证、企业认证、资料上传、审核退回、重新提交和认证不通过的常见处理方法。

2026.08.04

4

10

火山引擎域名备案流程详解
火山引擎域名备案流程详解

火山引擎域名备案适合需要在火山引擎云服务器、对象存储、CDN或网站服务上绑定域名的用户参考。本专题整理备案入口、账号实名认证、备案类型选择、主体信息填写、网站信息提交、资料上传、初审核验、管局审核和备案失败排查,帮助用户完成网站上线前的备案流程。

2026.08.04

1

10

火山引擎DNS解析配置步骤
火山引擎DNS解析配置步骤

使用火山引擎DNS解析网站域名时,需要确认域名已完成管理接入,并正确配置服务器IP、CNAME地址或验证记录。本专题整理域名添加、记录类型选择、TTL设置、解析状态检查、备案和访问测试等流程,适合新手搭建网站时参考。

2026.08.04

3

10

火山引擎对象存储使用教程
火山引擎对象存储使用教程

火山引擎对象存储适合用于网站图片、视频文件、备份数据、静态资源和应用附件管理。本专题整理TOS控制台入口、存储桶创建、地域选择、权限设置、文件上传、访问链接生成、CDN加速、费用查看和常见上传或访问失败问题,帮助用户快速掌握对象存储基础操作。

2026.08.04

1

10

火山引擎云服务器使用教程
火山引擎云服务器使用教程

火山引擎云服务器使用教程适合第一次购买、部署和管理云服务器的用户参考。本专题整理控制台入口、实例创建、地域和配置选择、系统镜像设置、安全组放行、远程连接、网站部署、续费计费和常见连接失败问题,帮助用户快速完成云服务器基础使用流程。

2026.08.04

5

10

火山引擎API Key绑定大模型教程
火山引擎API Key绑定大模型教程

火山引擎API Key怎么绑定大模型适合需要在火山方舟、应用后台、脚本工具或AI编程软件中调用模型的开发者参考。本专题整理控制台服务开通、API Key创建、模型权限检查、模型ID选择、Base URL填写、调用测试和鉴权失败排查,帮助用户完成从密钥到模型调用的配置流程。

2026.08.04

2

10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.4万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 131.8万人学习