bulk_write默认ordered=True最慢,应显式设ordered=False;批次大小需按文档体积控制在100–500条/批以防超16MB;write_concern须按场景显式配置,且必须检查result.writeErrors。

不是 bulk_write 本身变慢,而是你没用对参数、没控好批次、没处理好错误——它默认行为几乎总是拖慢你的写入。
ordered=True 是默认但最慢的配置
PyMongo 的 bulk_write 默认 ordered=True,意味着只要某条操作(比如一条 InsertOne)因唯一键冲突、类型错误或文档过大失败,后续所有操作立刻跳过。表面看是“强一致性”,实际是串行执行+提前中断,吞吐直接打骨折。
- 分片集群下,
ordered=True强制 mongos 串行路由到各分片,无法并发 - 哪怕只有一条脏数据,整批几百条都白攒、白发、白等响应
- 日志/埋点类场景根本不需要这种“全有或全无”,应显式设为
ordered=False
批次大小卡在 BSON 16MB 上限却不自知
你传给 bulk_write 的 requests 列表,最终被打包成一个 BSON 请求体。MongoDB 硬性限制单次请求 ≤ 16MB。一旦超限,服务端直接返回 DocumentTooLarge 错误,而 PyMongo 不会自动拆分——它就卡在那里等你处理异常。
- 别硬记“1000 条/批”:如果每条文档含 base64 图片或大文本,300 条就可能超限
- 实测安全区间是 100–500 条/批,具体得按平均 BSON 大小算(可用
len(bson.encode(doc))估算) - 不要一次性生成全部
requests列表再调用bulk_write,边查边攒、够一批发一批,防客户端内存爆掉
write_concern 没显式设,卡在等多数节点确认
副本集里写入慢,80% 是因为 write_concern 默认卡在 w="majority"(等大多数节点落盘)。这对金融交易合理,但对用户行为日志毫无必要。
将测试、lint、构建和文档流程编码为命名的Python会话,以便人类和代理每次运行相同的workflow。
- 埋点/ETL 场景:设
write_concern={"w": 1},主节点写完就返回 - 关键业务字段补全:可为部分
UpdateOne单独设write_concern={"w": "majority"},bulk_write支持 per-operation 级别设置 - 不显式传参,就永远被默认策略拖着走
ordered=False 后不检查 writeErrors,失败被静默吞掉
设了 ordered=False 后,MongoDB 并发执行所有操作,失败项不会抛异常,只塞进返回值的 writeErrors 字段里。你不主动读这个字段,等于把失败当成功。
- ETL 任务漏掉几百条失败文档,可能几周都发现不了
- 必须检查
result.writeErrors,至少 log 出错文档的index和code(如11000是重复键) - 遇到
BulkWriteError异常时,也要 inspecte.details["writeErrors"],不能只 print exception
最易被忽略的点:bulk_write 不是“开个开关就加速”,它是把控制权交还给你——批次怎么切、错怎么容、一致性怎么取舍,全得自己算清楚。随便传个大列表进去,比 insert_many 还容易崩。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!










