ShareGPT数据集在Hugging Face上的使用：从Hub下载和加载数据集的代码教程-人工智能-PHP中文网

若无法从hugging face hub加载sharegpt数据集，可采用三种方案：一、用datasets库在线加载并缓存至本地；二、用snapshot_download下载原始文件结构；三、用huggingface-cli命令行工具离线下载。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

sharegpt数据集在hugging face上的使用：从hub下载和加载数据集的代码教程

如果您希望在本地使用ShareGPT数据集进行微调或评估，但无法直接从Hugging Face Hub加载该数据集，则可能是由于数据集名称拼写错误、访问权限限制或未正确配置认证凭据。以下是完成下载与加载的多种可行方案：

一、使用datasets库在线加载并缓存到本地

该方法适用于公开可访问的ShareGPT数据集（如shibing624/sharegpt_zh或类似变体），通过load_dataset函数实现即用即载，并支持自动缓存至指定路径，便于后续离线复用。

1、确保已安装最新版datasets库：pip install datasets --upgrade

2、获取Hugging Face个人访问令牌（Token），登录Tokens设置页，生成一个具备Read权限的Token

3、在Python脚本中设置环境变量并加载数据集：import os; os.environ["HF_TOKEN"] = "hf_your_token_here"

4、调用load_dataset函数，指定数据集ID与缓存目录：from datasets import load_dataset; dataset = load_dataset("shibing624/sharegpt_zh", use_auth_token=True, cache_dir="./sharegpt_cache")

5、保存至本地磁盘以脱离Hub依赖：dataset.save_to_disk("./local_sharegpt")

二、使用snapshot_download批量下载原始文件结构

该方法适用于需要完整保留ShareGPT数据集原始文件布局（含README.md、.gitattributes、多版本JSONL等）的场景，下载结果与网页端Files and Versions栏目所见完全一致，且支持断点续传和符号链接控制。

1、安装huggingface_hub库（需0.19.0+）：pip install huggingface_hub --upgrade

2、设置HF_ENDPOINT为国内镜像加速下载：import os; os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"

OpenFuture

一款AI工具，主要用于OpenFuture是一个使用广泛的AI工具库，适合需要提升相关任务效率的用户。

下载

3、执行快照下载命令，明确指定repo_type为dataset：from huggingface_hub import snapshot_download; snapshot_download(repo_id="shibing624/sharegpt_zh", repo_type="dataset", local_dir="./sharegpt_raw", resume_download=True, local_dir_use_symlinks=False)

4、验证下载完整性：检查./sharegpt_raw目录下是否存在data/子目录及至少一个.jsonl文件

5、手动加载本地文件（绕过Hub）：from datasets import load_dataset; dataset = load_dataset("json", data_files={"train": "./sharegpt_raw/data/train.jsonl"})