如何利用SQL Server的变动数据捕获(CDC)同步UPDATE结果?

夜磊君_1396

夜磊君_1396

2026-06-08

248人浏览

原创

CDC中UPDATE操作默认生成两行($operation=3和4),需用row_filter_option或net_changes函数控制;源表必须有主键或唯一索引,LSN范围须严格递进,且需解析$update_mask避免误写NULL。

如何利用sql server的变动数据捕获(cdc)同步update结果?

UPDATE操作在CDC中实际生成两行记录

CDC对UPDATE的捕获不是“一行新值”,而是把更新前后的状态都保留下来:旧值行的__$operation为3,新值行为4。这意味着直接查cdc.fn_cdc_get_all_changes_*默认返回两行,不加筛选会重复处理或写入失败。

常见错误现象是同步程序把同一笔UPDATE当成两次独立变更,导致目标库主键冲突或数据错乱。关键在于区分“变更事件”和“变更后快照”——CDC提供的是前者,你得自己选后者。

  • 用row_filter_option = 'all update old'可强制只取新值(__$operation = 4),但注意这会丢弃旧值,无法做字段级比对
  • 若需判断哪些字段被改过,必须同时读__$operation = 3和=4两行,再用JOIN或LAG()比对列值
  • supports_net_changes = 1启用时,系统会额外生成cdc.fn_cdc_get_net_changes_*函数,它自动合并UPDATE为单行(仅含最终值),但要求表有主键或唯一索引

必须确保源表有主键或唯一约束

没有主键的表启用CDC后,cdc.fn_cdc_get_net_changes_*函数会报错:Msg 313, Level 16, State 3, Line 1: An insufficient number of arguments were supplied for the procedure or function cdc.fn_cdc_get_net_changes_...。这不是权限问题,是CDC底层依赖唯一标识定位“同一行的多次变更”。

即使你只用all模式查所有变更,没主键也会让同步逻辑脆弱:UPDATE前后两行无法可靠关联,id字段相同但其他列可能因并发修改而无法归因。

  • 添加主键:如ALTER TABLE dbo.t_cdc_ta ADD CONSTRAINT PK_t_cdc_ta PRIMARY KEY (id);
  • 若不能改表结构,可用唯一索引替代:CREATE UNIQUE INDEX UX_t_cdc_ta_id ON dbo.t_cdc_ta(id);
  • 检查是否就绪:SELECT OBJECTPROPERTY(OBJECT_ID('dbo.t_cdc_ta'), 'TableHasPrimaryKey')返回1才安全

LSN范围控制是避免漏同步或重复同步的核心

CDC不提供“上次同步时间”这种直观标记,全靠日志序列号(LSN)推进。每次调用cdc.fn_cdc_get_all_changes_*必须传from_lsn和to_lsn,且to_lsn必须来自sys.fn_cdc_get_max_lsn(),否则可能跳过未提交的变更。

泡漫
泡漫

一款AI视频创作工具,主要用于掌阅推出的AI漫剧生产平台,适合需要提升相关任务效率的用户。

下载

典型陷阱是把to_lsn设成固定值或用GETDATE()模拟时间窗口——LSN不是时间戳,它按事务提交顺序严格递增,跨服务器/跨库不可比。

  • 首次同步:用sys.fn_cdc_get_min_lsn('capture_instance_name')作起点
  • 后续同步:上一轮返回的__$start_lsn最大值 + 1,作为下一轮from_lsn
  • 务必在查询后立即保存最新to_lsn(用sys.fn_cdc_get_max_lsn()),避免代理作业清理掉未读LSN

UPDATE同步时别忽略__$update_mask位图

当只捕获部分列(通过@captured_column_list指定)时,__$update_mask告诉你本次UPDATE实际改了哪些列。它是varbinary(128),每一位对应一个捕获列,值为1表示该列被更新过。

例如表有name、addr、ttime三列被捕获,某次UPDATE只改了name,则__$update_mask二进制为001(低位在右)。不检查这个,容易把NULL覆盖原值——比如addr没变却被同步为NULL。

  • 解析方法:CASE WHEN SUBSTRING(__$update_mask, 1, 1) & 1 = 1 THEN name END逐列判断
  • 更稳妥的做法:同步SQL中用COALESCE(new.name, old.name),前提是能关联到旧值行
  • 如果业务允许,启用CDC时直接省略@captured_column_list,捕获全量列,避开位图解析复杂度

LSN推进逻辑和__$update_mask解析是UPDATE同步里最容易被跳过的两步,跳过它们,同步看起来跑通了,但数据一致性会在某次并发更新后突然崩塌。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.11

6571

4

数据库三范式
数据库三范式

数据库三范式是一种设计规范,用于规范化关系型数据库中的数据结构,它通过消除冗余数据、提高数据库性能和数据一致性,提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

2023.06.29

3105

3

如何删除数据库
如何删除数据库

删除数据库是指在MySQL中完全移除一个数据库及其所包含的所有数据和结构,作用包括:1、释放存储空间;2、确保数据的安全性;3、提高数据库的整体性能,加速查询和操作的执行速度。尽管删除数据库具有一些好处,但在执行任何删除操作之前,务必谨慎操作,并备份重要的数据。删除数据库将永久性地删除所有相关数据和结构,无法回滚。

2023.08.14

4181

10

vb怎么连接数据库
vb怎么连接数据库

在VB中,连接数据库通常使用ADO(ActiveX 数据对象)或 DAO(Data Access Objects)这两个技术来实现:1、引入ADO库;2、创建ADO连接对象;3、配置连接字符串;4、打开连接;5、执行SQL语句;6、处理查询结果;7、关闭连接即可。

2023.08.31

3491

3

MySQL恢复数据库
MySQL恢复数据库

MySQL恢复数据库的方法有使用物理备份恢复、使用逻辑备份恢复、使用二进制日志恢复和使用数据库复制进行恢复等。本专题为大家提供MySQL数据库相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.05

1087

5

vb中怎么连接access数据库
vb中怎么连接access数据库

vb中连接access数据库的步骤包括引用必要的命名空间、创建连接字符串、创建连接对象、打开连接、执行SQL语句和关闭连接。本专题为大家提供连接access数据库相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.09

3047

5

数据库对象名无效怎么解决
数据库对象名无效怎么解决

数据库对象名无效解决办法:1、检查使用的对象名是否正确,确保没有拼写错误;2、检查数据库中是否已存在具有相同名称的对象,如果是,请更改对象名为一个不同的名称,然后重新创建;3、确保在连接数据库时使用了正确的用户名、密码和数据库名称;4、尝试重启数据库服务,然后再次尝试创建或使用对象;5、尝试更新驱动程序,然后再次尝试创建或使用对象。

2023.10.16

3027

4

vb连接access数据库的方法
vb连接access数据库的方法

vb连接access数据库方法:1、使用ADO连接,首先导入System.Data.OleDb模块,然后定义一个连接字符串,接着创建一个OleDbConnection对象并使用Open() 方法打开连接;2、使用DAO连接,首先导入 Microsoft.Jet.OLEDB模块,然后定义一个连接字符串,接着创建一个JetConnection对象并使用Open()方法打开连接即可。

2023.10.16

2993

3

vb连接数据库的方法
vb连接数据库的方法

vb连接数据库的方法有使用ADO对象库、使用OLEDB数据提供程序、使用ODBC数据源等。详细介绍:1、使用ADO对象库方法,ADO是一种用于访问数据库的COM组件,可以通过ADO连接数据库并执行SQL语句。可以使用ADODB.Connection对象来建立与数据库的连接,然后使用ADODB.Recordset对象来执行查询和操作数据;2、使用OLEDB数据提供程序方法等等。

2023.10.19

2841

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.1万人学习