mongodb转dataframe需控游标、投字段、建索引、转类型：用limit/projection/batch_size减少数据量，aggregate下推计算，预处理objectid/decimal128等类型，避免mongomock空集合陷阱，索引优化查询性能。
用 pymongo 连 MongoDB 时，别直接调 find() 返回游标
直接 list(collection.find()) 或循环转 list 再塞进 pd.DataFrame() 看似简单，但容易爆内存或卡死——尤其数据量超万条时，游标没限制、没分页、没投影，MongoDB 默认一次拉全字段，Pandas 构造时还要做类型推断，双重开销。
实操建议：
- 始终加
limit()和projection：只取真正需要的字段，比如collection.find({}, {"_id": 0, "name": 1, "score": 1}) - 用
batch_size控制游标内部抓取节奏，例如collection.find(...).batch_size(1000)，避免驱动层一次性加载太多文档到内存 - 如果数据量大（>10 万），优先考虑用
aggregate()+$project预处理，把计算逻辑下推到 MongoDB 层，而不是全量导出再 Pandas 计算
pd.DataFrame(list(cursor)) 会崩在 ObjectId 和嵌套字段上
MongoDB 的 ObjectId、datetime、Decimal128、嵌套 dict 或数组，Pandas 原生不认。常见报错是 TypeError: Type ObjectId not supported 或日期列变成 object 类型无法参与时间运算。
实操建议：
- 用
json_util.dumps()+json.loads()不靠谱——会丢精度（如ObjectId变字符串，Decimal128变 float） - 更稳的做法是预处理游标：遍历每条 doc，把
_id显式转成字符串，datetime字段保留原样（Pandas 支持），Decimal128转float或str后再由 Pandas 转类型 - 嵌套字段别硬 flatten：先用
pd.json_normalize()处理，比手动递归安全；若结构固定，用projection在查询时就展开，比如{"user.name": 1, "user.email": 1}
用 mongomock 测试 DataFrame 流程时，find() 返回空 list 却不报错
mongomock 是常用单元测试替代，但它对空集合的 find() 行为和真实 MongoDB 不一致：真实环境返回空游标，mongomock 有时返回空 list，有时甚至返回 None，导致 pd.DataFrame([]) 列名丢失或 dtypes 错乱，线上跑通、测试崩。
实操建议：
- 测试前务必插入至少一条 mock 数据，别依赖空集合逻辑
- 构造 DataFrame 时显式传
columns，比如pd.DataFrame([], columns=["name", "score"])，避免后续 merge 或 concat 报KeyError - 检查
cursor类型：用isinstance(cursor, (list, types.GeneratorType))做兜底，而不是无条件list(cursor)
从 MongoDB 到 DataFrame 的性能瓶颈常不在 Python 层
很多人优化 Pandas 代码（比如换 dtype、用 chunksize），却忽略 MongoDB 查询本身：没建索引、用 $regex 开头、sort() 没配合 limit()，这些会让查询耗时飙升，Python 端等得再久也白搭。
实操建议：
- 用
explain("executionStats")查看真实执行计划，重点关注nReturned和totalDocsExamined是否接近——差太多说明索引没生效 - 时间范围查询必须给
created_at字段建索引，且确保查询用的是 ISODate 格式，不是字符串 - 避免在 Pandas 里做
df[df["status"] == "active"]这种过滤，能写进find({"status": "active"})的，绝不拖到 Python 层
真正难的不是怎么转，是怎么让 MongoDB 快速吐出结构干净、体积可控的数据块——游标、投影、索引、类型转换，四个环节漏一个，DataFrame 就可能卡住、错型、或内存炸掉。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
