如何实现Node.js中MongoDB的实时数据同步_监听Change Streams变更流

阿静吖_4009

阿静吖_4009

2026-06-02

914人浏览

原创

MongoDB Change Streams 要求版本 ≥ 3.6、运行于副本集或分片集群模式,Node.js 驱动需 ≥ 3.1.0(推荐 ≥ 4.0.0),watch() 默认从当前 oplog 位置开始监听,支持 resumeAfter 断点续传及聚合管道过滤事件。

如何实现node.js中mongodb的实时数据同步_监听change streams变更流

Change Streams 要求 MongoDB 版本和副本集配置

Node.js 中使用 changeStream 前,MongoDB 必须是 3.6+ 且运行在副本集(Replica Set)或分片集群(Sharded Cluster)模式下——单机 mongod 直接启动不支持。本地开发时别用 mongod --dbpath ./data 启动,得用 mongod --replSet rs0 --dbpath ./data,再执行 rs.initiate() 初始化副本集。

驱动版本也得匹配:MongoDB Node.js Driver ≥ 3.1.0(推荐 ≥ 4.0.0),否则 collection.watch() 会静默失败或抛 MongoServerSelectionError。

  • 检查副本集状态:连接后运行 db.isMaster(),确认 ismaster: true 且 hosts 字段存在
  • Driver 版本验证:npm list mongodb,避免混用 mongodb@3.x 和 @mongo-js/driver
  • 云服务(如 MongoDB Atlas)默认启用了副本集,但免费层可能限制变更流并发数,注意配额

watch() 的基础用法和 resumable 机制

collection.watch() 返回一个可监听的游标,不是一次性查询。它默认从“当前最新 oplog 时间点”开始监听,意味着启动前发生的变更不会被收到——这点常被误认为“丢数据”,其实不是 bug,是设计如此。

要实现断线重连后的续读,必须传入 resumeAfter 或 startAfter。最稳妥的做法是持久化上一次成功处理的 _id(即 change._id),并在重建流时作为 resumeAfter 传入:

const resumeToken = await getLastProcessedToken(); // 从 Redis 或本地文件读
const changeStream = collection.watch([], {
  resumeAfter: resumeToken,
  maxAwaitTimeMS: 5000
});
changeStream.on('change', async change => {
  await processChange(change);
  await saveLastProcessedToken(change._id); // 写回 token
});
  • resumeAfter 是精确恢复点,要求 token 必须存在;startAfter 允许跳过已丢失的变更,适合容忍少量丢失的场景
  • maxAwaitTimeMS 控制服务器端最长等待时间,设太小会导致频繁空轮询,太大则延迟升高
  • 不要在 change 事件回调里直接 await 长耗时操作(如 HTTP 请求),应加队列或限流,否则阻塞流接收

过滤变更类型与字段投影的常见写法

用聚合管道数组作为 watch() 第一个参数,能高效过滤事件。比如只监听 insert 和 update,且仅当 status 字段被修改时触发:

arcgis-js
arcgis-js

提供 ArcGIS Maps SDK for JavaScript 开发辅助,涵盖 2D/3D 地图视图、图层管理、数据可视化、空间分析等功能模块的参考和示例指导。

下载
collection.watch([
  { $match: {
      $or: [{ operationType: 'insert' }, { operationType: 'update' }],
      'updateDescription.updatedFields.status': { $exists: true }
    }
  }
])

注意:updateDescription 只在 update 类型中存在;fullDocument 默认不返回,需显式开启 { fullDocument: 'updateLookup' } 才能拿到更新后的完整文档(含未修改字段)。

  • operationType 可取值:insert、update、replace、delete、drop、rename、dropDatabase、invalidate
  • fullDocument: 'required' 仅在事务中有效,普通写入请用 'updateLookup'
  • 避免在 $match 中使用 $text 或复杂索引字段,变更流不走索引,纯内存过滤

错误处理与连接生命周期管理

Change Stream 不是长连接保活协议,网络抖动、主节点切换、oplog 截断都会导致 error 或 close 事件。不能只监听 change,必须同时处理 error 和 close,并主动重建流:

function createChangeStream() {
  const stream = collection.watch(...);
  stream.on('change', handle);
  stream.on('error', err => {
    console.error('ChangeStream error:', err.name, err.message);
    if (err.name === 'MongoNetworkError' || err.name === 'MongoCursorExhaustedError') {
      setTimeout(createChangeStream, 1000); // 指数退避更佳
    }
  });
  stream.on('close', () => console.log('Stream closed, reconnecting...'));
  return stream;
}
  • MongoCursorExhaustedError 表示 oplog 已被清理(如 oplogSize 太小或停机太久),此时 resumeAfter token 失效,需降级为全量同步或报错退出
  • 应用进程退出前,务必调用 stream.close(),否则可能泄漏 socket 和内存
  • 多个集合监听时,别共用一个 client 连接池却各自开流——每个 watch() 都会占用一个 socket,连接池 maxPoolSize 得相应调大

变更流本身不保证 exactly-once,resumeAfter 也无法跨分片精确对齐;高可靠场景下,仍建议以变更事件为触发器,再通过 _id 查库做幂等校验。

相关专题

更多
C语言变量命名
C语言变量命名

c语言变量名规则是:1、变量名以英文字母开头;2、变量名中的字母是区分大小写的;3、变量名不能是关键字;4、变量名中不能包含空格、标点符号和类型说明符。php中文网还提供c语言变量的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

3469

3

c语言入门自学零基础
c语言入门自学零基础

C语言是当代人学习及生活中的必备基础知识,应用十分广泛,本专题为大家c语言入门自学零基础的相关文章,以及相关课程,感兴趣的朋友千万不要错过了。

2023.07.25

2408

9

c语言运算符的优先级顺序
c语言运算符的优先级顺序

c语言运算符的优先级顺序是括号运算符 > 一元运算符 > 算术运算符 > 移位运算符 > 关系运算符 > 位运算符 > 逻辑运算符 > 赋值运算符 > 逗号运算符。本专题为大家提供c语言运算符相关的各种文章、以及下载和课程。

2023.08.02

1340

5

c语言数据结构
c语言数据结构

数据结构是指将数据按照一定的方式组织和存储的方法。它是计算机科学中的重要概念,用来描述和解决实际问题中的数据组织和处理问题。数据结构可以分为线性结构和非线性结构。线性结构包括数组、链表、堆栈和队列等,而非线性结构包括树和图等。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.09

1278

4

c语言random函数用法
c语言random函数用法

c语言random函数用法:1、random.random,随机生成(0,1)之间的浮点数;2、random.randint,随机生成在范围之内的整数,两个参数分别表示上限和下限;3、random.randrange,在指定范围内,按指定基数递增的集合中获得一个随机数;4、random.choice,从序列中随机抽选一个数;5、random.shuffle,随机排序。

2023.09.05

1396

5

c语言const用法
c语言const用法

const是关键字,可以用于声明常量、函数参数中的const修饰符、const修饰函数返回值、const修饰指针。详细介绍:1、声明常量,const关键字可用于声明常量,常量的值在程序运行期间不可修改,常量可以是基本数据类型,如整数、浮点数、字符等,也可是自定义的数据类型;2、函数参数中的const修饰符,const关键字可用于函数的参数中,表示该参数在函数内部不可修改等等。

2023.09.20

2298

7

c语言get函数的用法
c语言get函数的用法

get函数是一个用于从输入流中获取字符的函数。可以从键盘、文件或其他输入设备中读取字符,并将其存储在指定的变量中。本文介绍了get函数的用法以及一些相关的注意事项。希望这篇文章能够帮助你更好地理解和使用get函数 。

2023.09.20

3760

8

c数组初始化的方法
c数组初始化的方法

c语言数组初始化的方法有直接赋值法、不完全初始化法、省略数组长度法和二维数组初始化法。详细介绍:1、直接赋值法,这种方法可以直接将数组的值进行初始化;2、不完全初始化法,。这种方法可以在一定程度上节省内存空间;3、省略数组长度法,这种方法可以让编译器自动计算数组的长度;4、二维数组初始化法等等。

2023.09.22

17515

6

c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

2023.09.22

549

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WebStorm 官方调试文档
WebStorm 官方调试文档

共0课时 | 0人学习

RabbitMQ 教程手册
RabbitMQ 教程手册

共0课时 | 0人学习

Node.js 教程
Node.js 教程

共57课时 | 25.6万人学习