当对包含 json（字典/列表）类型列的 dataframe 进行 groupby 时，因字典不可哈希会报错；本文介绍无需序列化/反序列化即可安全、高效完成分组聚合的推荐方案。
当对包含 json（字典/列表）类型列的 dataframe 进行 groupby 时，因字典不可哈希会报错；本文介绍无需序列化/反序列化即可安全、高效完成分组聚合的推荐方案。
在 Pandas 中，对含嵌套结构（如字典、列表）的列执行 groupby 操作时，常遇到 TypeError: unhashable type: 'dict' 错误——这是因为 groupby 默认将分组键视为哈希对象，而 Python 字典和列表是可变且不可哈希的。虽然将 JSON 列临时转为字符串（json.dumps）再分组是一种常见 workaround，但该方法存在明显缺陷：引入额外的序列化开销、可能因浮点精度或键序差异导致逻辑不等价的 JSON 被判为不同键、且需手动管理来回转换，易出错且可读性差。
更专业、更健壮的解决方案是：避免将 JSON 列作为分组键，而是将其作为被聚合的值，并选用语义明确、无副作用的聚合函数（如 'first'、'last' 或自定义函数）。只要同一分组内 JSON 内容逻辑一致（如示例中两行 json 完全相同），直接取首个即可保留原始结构，且完全规避哈希问题。
以下为推荐实现：
import pandas as pd
import json
# 构造示例数据
json_data = {
"employees": [
{"name": "Shyam", "email": "shyam@example.com"},
{"name": "Bob", "email": "bob@example.com"},
{"name": "Jai", "email": "jai@example.com"},
]
}
df = pd.DataFrame({
"key": ["A", "A"],
"val": [1, 2],
"json": [json_data, json_data] # 注意：两行内容完全相同
})
# ✅ 推荐做法：以 'key' 为分组键，对 'val' 聚合为列表，对 'json' 取首个（保证结构完整）
df_grouped = df.groupby("key").agg({
"val": list,
"json": "first" # 安全、高效、保持原生类型
}).reset_index()
print(df_grouped)
输出结果：
key val json
0 A [1, 2] {'employees': [{'name': 'Shyam', 'email': 'shy...
✅ 关键优势说明：
- 零序列化成本：全程保持 dict 类型，无 json.dumps/loads 开销；
- 类型安全：返回仍是原生 Python 字典，可直接用于后续 JSON 序列化、API 请求或嵌套访问（如 df_grouped.iloc[0]['json']['employees'][0]['name']）；
- 逻辑清晰："first" 明确表达“同组内 JSON 一致，任取其一”，比字符串哈希更符合业务语义；
-
扩展性强：若需校验 JSON 一致性（防数据异常），可添加断言：
df.groupby("key").apply(lambda g: assert len(set(map(json.dumps, g["json"]))) == 1)
⚠️ 注意事项：
- 此方法前提是同一分组内 JSON 值必须逻辑等价（如示例中两行完全相同）。若存在差异且需合并 JSON（如合并 employees 列表），则需自定义聚合函数（例如 lambda x: {"employees": sum([d["employees"] for d in x], [])}）；
- 避免使用 list 或 set 对 JSON 列聚合——list 会生成嵌套列表，set 因不可哈希而失败；
- 若必须按 JSON 内容分组（极少见），应先规范化 JSON（排序键、统一浮点格式），再 dumps + groupby，但务必加注释说明必要性。
综上，优先通过合理设计分组键与聚合策略绕过哈希限制，而非强制序列化，是处理 DataFrame 中 JSON 列分组问题的专业实践。
