如何在Python中监听MongoDB变更流?

云伟吖_2674

云伟吖_2674

2026-08-26

678人浏览

原创

变更流要求副本集或分片集群,单节点不支持;需显式指定replicaSet、传full_document="updateLookup"、用resume_after恢复监听,并注意pipeline字段匹配规则。

如何在python中监听mongodb变更流?

变更流需要副本集或分片集群

单节点 MongoDB 实例不支持变更流,直接调用 watch() 会抛出 PymongoError: cannot open $changeStream on non-replica set。必须先将单机升级为副本集(哪怕只有 1 个成员),或连接到已启用副本集的集群。

本地快速验证可用以下命令启动最小副本集:

mongod --replSet rs0 --dbpath /data/db --port 27017

然后在 mongo shell 中执行:

rs.initiate({ _id: "rs0", members: [{ _id: 0, host: "localhost:27017" }] })
  • 生产环境务必使用至少 3 个成员的副本集,避免脑裂和主节点单点故障
  • 连接时需在 URI 中显式指定 replica set 名称,例如:mongodb://localhost:27017/?replicaSet=rs0
  • 如果使用 Atlas,确保集群类型是 “Replica Set” 或 “Sharded Cluster”,并勾选 “Enable Change Streams”

watch() 调用必须带 pipeline 和 full_document

默认调用 collection.watch() 只返回变更事件的元信息(如 _id、operationType),不包含文档内容。要获取完整文档,必须传入 full_document="updateLookup" 参数;否则对 update 类型事件只能看到 updateDescription,看不到改了什么字段。

常见 pipeline 示例:

pipeline = [
    { "$match": { "operationType": { "$in": ["insert", "update", "delete"] } } },
    { "$addFields": { "eventTime": "$clusterTime" } }
]
  • full_document="updateLookup" 会让 driver 自动查一次最新文档,但会增加一次读请求,注意性能影响
  • 若只关心某几个字段变化,可在 $match 中加 "updateDescription.updatedFields" 过滤,但字段名需用双引号包裹(MongoDB 的 BSON 语法)
  • 不要在 pipeline 里写 $project 去删字段——变更流事件结构固定,删了关键字段(如 _id、operationType)会导致解析失败

监听循环必须处理断连与 ResumeToken

网络抖动或主节点切换时,watch() 迭代器会抛出 PyMongoError 或 StopIteration,不能简单用 except Exception 吞掉就重连——那样会丢失断连期间的变更。

Python 环境工具专业版
Python 环境工具专业版

Python 环境工具专业版功能概述Python 环境工具专业版是一项面向实际任务的技能。它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。核心要点使用时应结合输入条件选择合适的执行方式,核对必要参数、依赖环境与输出内容,并按原始要求处理异常情况。该技能适合需要稳定复用相关能力的场景,可作为自动化工作流的一部分,也便于后续检查、调整和扩展。执行完成后建议检查结果是否符合预期,并保留必要记录。使用与执行同时注意输入完整性、执行条件和输出可用性。从功能定位来看,该技能

下载

正确做法是捕获异常后,用上一次成功事件的 _id(即 resume token)重启监听:

resume_token = None
while True:
    try:
        with collection.watch(pipeline, full_document="updateLookup", resume_after=resume_token) as stream:
            for change in stream:
                print(change)
                resume_token = change["_id"]
    except PyMongoError as e:
        if isinstance(e, InvalidOperation):
            # 如 resume_after 无效,可设为 None 重新开始(慎用)
            resume_token = None
        time.sleep(1)
  • resume_after 是最轻量的恢复方式,比 start_after 更安全,但 token 有效期默认 30 分钟(受 oplog 大小限制)
  • 首次运行时 resume_after=None,后续每次取 change["_id"],不是 change.get("clusterTime")
  • 别把 resume token 存在内存里——进程重启就丢了;生产环境建议存到 Redis 或本地文件,并加时间戳防过期

聚合管道中 $match 的字段路径容易写错

变更流事件结构嵌套较深,比如判断是否更新了 status 字段,不能写 {"updateDescription.updatedFields.status": {"$exists": True}} ——因为 updatedFields 是一个对象,其 key 就是字段名,不是嵌套路径。

正确写法是:

{ "$match": { "updateDescription.updatedFields.status": { "$exists": true } } }

但注意:MongoDB 的 true 是小写,Python 里用 True 会被自动转成 true,没问题;而字段名中的点号 . 在这里表示“对象的键”,不是路径分隔符。

  • 所有变更事件顶层字段: operationType、fullDocument、updateDescription、documentKey
  • updateDescription.updatedFields 是一个字典,key 是被修改的字段名(如 "name"),value 是新值;所以匹配字段存在,就是查这个 dict 的 key
  • 想匹配数组元素变化?得用 "updateDescription.updatedFields.array.0.field" 这种形式,但前提是数组索引确定——动态索引无法用 pipeline 表达,得靠应用层过滤

变更流不是“实时消息队列”,它依赖 oplog 的滚动窗口和网络稳定性。resume token 过期、pipeline 语法错误、权限不足(比如没授予 changeStream 角色)这三类问题占实际排障的八成以上,检查时优先盯住这三个点。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python mongodb python脚本

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1931

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

5444

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1869

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

33097

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3887

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3907

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1283

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

616

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

3023

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程