sharegpt格式json解析需适配多种结构：一用json模块遍历messages；二用pydantic强校验；三用pandas结构化多对话；四归一化system与role；五用jsonpath-ng定位深层字段。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您需要从ShareGPT格式的JSON文件中提取对话历史、角色信息或消息内容，但缺乏结构化解析逻辑，则可能因字段嵌套不一致或缺失键而报错。以下是针对ShareGPT格式数据的多种Python解析方法：
一、使用标准json模块加载并遍历messages字段
ShareGPT格式的核心是顶层键"conversations"或直接为消息列表，每条消息含"from"（角色）和"value"（内容），该方法适用于结构清晰、无嵌套错误的原始JSON文件。
1、用open()函数以UTF-8编码打开JSON文件。
2、调用json.load()读取整个文件为Python字典或列表。
3、检查根结构是否为列表：若是，直接将其视为messages；若为字典，尝试获取key为"conversations"或"messages"的值。
4、遍历每条消息，提取from字段判断角色（如"human"或"assistant"），提取value字段获取文本内容。
二、使用Pydantic模型进行强类型校验与解析
当ShareGPT数据来源不可控、存在字段缺失或类型错乱时，Pydantic可自动过滤非法项、提供默认值并抛出明确错误，提升鲁棒性。
1、定义Message模型，包含from_（因from为Python关键字，需加下划线）和value两个必填字段，类型均为str。
2、定义Conversation模型，包含conversations字段，类型为List[Message]。
3、用json.load()读取文件后，传入Conversation.parse_obj()进行校验解析。
4、捕获ValidationError异常，打印具体缺失字段或类型不符位置。
三、使用pandas读取多条ShareGPT记录并结构化为DataFrame
当JSON文件包含多个独立对话（如每行一个JSON对象，或顶层为对话列表），pandas能快速展开嵌套结构，便于后续筛选、统计或导出CSV。
1、若文件为JSONL格式（每行一个JSON），使用pd.read_json(path, lines=True)直接加载。
将一个或多个视频上传至YouTube。当用户想“上传到YouTube”“发YouTube”“批量上传”“upload to YouTube”“post videos to YouTube”或发布到YouTube时使用此技能。
2、若为单个JSON数组，先json.load()读取为列表，再传入pd.DataFrame()构造。
3、对messages列执行explode()操作，将每条对话的消息列表展开为多行。
4、对展开后的messages列使用apply(pd.Series)拆分为from和value两列。
四、处理含system消息和多轮交错的复杂ShareGPT结构
部分ShareGPT数据在messages外还包含"system"字段，或messages中混有"system"角色消息，需统一归一化为role-content二元结构以便下游使用。
1、优先读取顶层system字段，若存在则生成一条role为"system"、content为其值的记录。
2、遍历messages列表，对每个元素检查是否存在from键；若不存在，跳过该条目。
3、将"from"值映射为标准role：映射表为{"human": "user", "gpt": "assistant", "assistant": "assistant", "system": "system"}。
4、合并system消息与messages解析结果，按原始顺序组成统一的role-content序列。
五、使用jsonpath-ng库精准定位深层嵌套字段
当ShareGPT数据被包裹在多层无关结构中（例如"data"→"result"→"conversation"），手动逐层取键易出错，jsonpath-ng支持类似XPath的路径表达式进行灵活抽取。
1、安装库：pip install jsonpath-ng。
2、用json.load()加载原始数据为Python对象。
3、构造jsonpath表达式如$..messages或$..conversations[*].from，匹配任意层级下的目标字段。
4、调用parse(expr).find(data)获取匹配结果列表，遍历Match对象的value属性提取实际值。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
