如何实现MySQL数据实时同步到ES_通过解析Binlog增量订阅工具实现

阿墨小哥_8827

阿墨小哥_8827

2026-06-01

1013人浏览

原创

es 2.x后官方废弃jdbc river插件,因其轮询查表延迟高、锁表风险大且无法捕获delete和ddl;实时同步必须基于binlog解析,推荐canal(轻量、中文友好)或debezium(kafka生态、事务支持严谨)。

如何实现mysql数据实时同步到es_通过解析binlog增量订阅工具实现

为什么不能直接用ES的JDBC River插件

ES 2.x 之后官方就废弃了 jdbc-river,现在连社区维护版都极难适配新版 ES(比如 8.x)和高版本 MySQL(如 8.0+ 的默认认证插件 caching_sha2_password)。它本质是轮询查表,延迟高、锁表风险大、无法捕获 DELETE 和 DDL。真正实时同步必须走 Binlog 解析路线。

选 Canal 还是 Debezium?关键看你的技术栈

两者都基于 MySQL Binlog 的增量订阅,但定位不同:

  • Canal 是阿里开源的纯 Java 实现,轻量、文档中文友好,适合 Spring Boot + MySQL + ES 简单链路;它模拟从库协议,要求 MySQL 开启 binlog_format=ROW 和 binlog_row_image=FULL
  • Debezium 是 Kafka 生态一员,必须依赖 Kafka 或 Kafka Connect,适合已有流平台的场景;它对 DDL、多表关联、事务边界支持更严谨,但部署复杂度翻倍
  • 如果只是单业务库单向同步,Canal + canal-server + 自研 client(或用 canal-adapter)更快落地;若已用 Kafka,优先选 Debezium 避免重复造轮子

Canal 同步到 ES 时字段类型不匹配怎么办

MySQL 的 DATETIME、TINYINT(1)、JSON 类型在 ES 中没有直接对应,硬映射会报 mapper_parsing_exception。必须在写入前做转换:

  • DATETIME → ES 的 date 类型:client 端用 LocalDateTime.parse() 转成 ISO 格式字符串(如 "2024-05-20T14:23:11"),ES mapping 中显式声明 "format": "strict_date_optional_time"
  • TINYINT(1)(常作布尔)→ ES 的 boolean:不要传 1/0,client 中转成 true/false 再写入
  • JSON 字段 → ES 的 object 或 keyword:若内容固定结构,mapping 定义为 object;若只用于检索(如 tags 数组),建议预处理成 keyword 数组,避免 dynamic mapping 带来类型冲突

漏掉这些转换,ES 会在第一次写入后固化错误类型,后续同名字段写入直接失败,必须删 index 重建 mapping。

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载

DELETE 操作同步失败的常见原因

Canal 默认能捕获 DELETE 事件,但 client 端常忽略 RowData.getBeforeColumnsList() —— 这才是 DELETE 的主键值来源。错误写法是只读 afterColumns,结果删不了 ES 文档。

正确逻辑是:

  • INSERT/UPDATE:用 afterColumns 构建 ES document,_id 取主键列值
  • DELETE:用 beforeColumns 提取主键,调用 ES 的 delete by id 接口(如 RestHighLevelClient.delete())
  • 务必校验 beforeColumns 是否为空——某些 Binlog 配置下(如 binlog_row_image=MINIMAL),DELETE 可能只含主键,其他字段为 null

没处理好这个分支,ES 里就会残留大量“幽灵数据”,且无日志报错,只能靠定期比对 count 差异才发现。

Binlog 解析不是黑盒,每个 event 的字段完整性、MySQL 版本对 GTID 的影响、网络断连后的位点恢复逻辑,都得在 client 层有明确兜底。别指望中间件自动搞定一致性。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

mysql elasticsearch

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

2253

6

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.21

1379

5

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

815

5

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.19

3092

5

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.25

5248

4

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.08

1159

3

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.11

5511

4

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

2023.08.14

4822

7

mysql事务隔离级别
mysql事务隔离级别

mysql规范中定义了四种事务隔离级别,不同的隔离级别对事务的处理有所不同。本专题为大家提供mysql事务隔离级别相关的文章内容,大家可以免费体验。

2023.08.16

6394

11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 187人学习