如何搭建Java的数据同步环境_Canal监听MySQL Binlog配置

雨宇小哥_9689

雨宇小哥_9689

2026-03-19

571人浏览

原创

canal服务端连不上mysql需满足两个硬性条件:mysql必须开启binlog且格式为row;连接账号需具备replication slave和replication client权限。

如何搭建java的数据同步环境_canal监听mysql binlog配置

Canal 服务端连不上 MySQL:权限和 binlog 格式是硬门槛

Canal 启动后报 ERROR 1236 (HY000) 或日志里反复出现 Lost connection to MySQL server,八成是 MySQL 端没配对。Canal 不是普通客户端,它伪装成从库拉取 binlog,必须满足两个刚性条件:

  • MySQL 必须开启 binlog,且格式为 ROW(STATEMENT 或 MIXED 会导致 Canal 解析失败或漏事件)
  • 用于连接的 MySQL 账号需有 REPLICATION SLAVE 和 REPLICATION CLIENT 权限,仅 SELECT 不够

检查方式:SHOW VARIABLES LIKE 'log_bin'; 和 SHOW VARIABLES LIKE 'binlog_format';;授权语句示例:GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';

Canal 客户端收不到变更:instance 配置和订阅 filter 没对上

服务端跑着,客户端代码也启了,但 Message 一直为空——问题常出在 Canal 的 instance 层级配置。Canal 不会自动监听所有库表,每个 instance 对应一个逻辑通道,必须显式指定监听目标:

Java Maven Secondary Analysis
Java Maven Secondary Analysis

分析ZIP压缩包或GitLab仓库中的Java Maven项目,确定二次开发范围、类数量、模块分布及生产相关指标。

下载
  • canal.instance.filter.regex 控制白名单,例如 mydb\..* 表示只同步 mydb 下所有表;写成 mydb.user 才精确匹配单表
  • 若 MySQL 表名含大写字母,而 Canal 运行在 Linux 上(默认文件系统不区分大小写),filter.regex 中的大小写必须与 SHOW TABLES 输出完全一致
  • 修改 conf/example/instance.properties 后,必须重启对应 instance(sh stop.sh example && sh start.sh example),热加载不生效

Java 客户端解析 Event 失败:RowChange 不等于你想要的 INSERT/UPDATE/DELETE

拿到 Entry 后调用 entry.getStoreValue() 解出 RowChange,却发现 getEventType() 是 UNKNOWN,或者字段值全为 null——这是因为 Canal 默认只传输变更前后的行数据(beforeColumns/afterColumns),不带 SQL 语句,也不保证字段顺序与建表顺序一致:

  • 必须遍历 rowChange.getRowDatasList(),每条 RowData 才对应一次实际 DML;INSERT 只有 afterColumns,DELETE 只有 beforeColumns,UPDATE 两者都有
  • 列名通过 column.getName() 获取,不要依赖索引位置;值用 column.getValue(),注意 isNull() 判断,避免 NPE
  • 如果需要主键值做路由或去重,务必在 filter.regex 匹配的表上定义明确主键(Canal 依赖主键生成唯一标识)

同步延迟高或丢数据:batchSize 和 getWithoutAck 的组合很关键

生产环境常见“看着在跑,但下游总差几秒”,甚至偶发跳过某些 binlog 位点——这通常不是网络问题,而是客户端拉取策略没调好:

  • CanalConnector.getWithoutAck(100) 的 batchSize=100 并非每次返回 100 条,而是最多取 100 条未 ACK 的 event;若实际只有 5 条,就只返回 5 条,不会阻塞等待
  • 必须手动调用 connector.ack(batchId),否则下一批拉不到新数据;忘记 ack 或在处理中途 crash,会导致重复消费或卡住
  • 高吞吐场景建议把 batchSize 设为 50–200,太小(如 1)导致频繁 RPC,太大(如 1000)可能 OOM 或超时;同时检查 MySQL 的 max_allowed_packet 是否 ≥ Canal 的 batch 单条最大体积

binlog 位点推进靠的是 ack,不是消息处理完成。哪怕解析失败,只要 ack 了,这个位点就再也拿不回来了。

Java免费学习笔记:立即使用
解锁 Java 大师之旅:从入门到精通的终极指南

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

2023.06.15

10337

6

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

7462

9

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

2023.07.31

6532

8

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.01

1124

3

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.02

928

3

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

1356

5

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

2709

5

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

2023.08.03

20031

3

配置java环境变量
配置java环境变量

配置Java环境变量是为了让操作系统能够识别和使用Java的相关命令和功能。本专题为大家提供配置java环境变量相关文章,帮助大家解决问题。

2023.08.03

1195

8

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
dev.java 官方:Learn Java
dev.java 官方:Learn Java

共0课时 | 0人学习

Java JDBC数据库连接官方教程
Java JDBC数据库连接官方教程

共0课时 | 0人学习