如何在Linux利用Canal实现MySQL增量数据同步至ES-linux运维-PHP中文网

Canal 依赖 canal-adapter 实现 MySQL 到 ES 的增量同步，需 MySQL 开启 ROW 格式 Binlog 并授权 canal 用户；ES 同步须用 es7.yml 配置，_type 必填 _doc，_id 需显式映射，字段类型须提前在 ES 中明确定义。

如何在linux利用canal实现mysql增量数据同步至es

Canal 本身不直接写 ES，必须搭配 canal-adapter 才能完成 MySQL → ES 的增量同步；跳过 adapter 直接用 canal-server 是无效的。

MySQL 必须开启 ROW 格式 Binlog 并授权 canal 用户

Canal 依赖 MySQL 的 binlog 日志流，且只支持 ROW 格式 —— STATEMENT 或 MIXED 会导致解析失败或数据丢失。

修改 /etc/my.cnf（或你的 MySQL 配置路径），确保包含以下三项：

[mysqld]
log-bin=mysql-bin
binlog-format=ROW
server_id=1

注意：server_id 不能为 0，也不能和 canal 的 slaveId 冲突（默认是 1234，可在 instance.properties 中改）。

创建并授权 canal 用户（RDS 用户可跳过授权，但需确认账号有 REPLICATION SLAVE 权限）：

CREATE USER 'canal'@'%' IDENTIFIED BY 'canal';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;

常见错误：ERROR 1236 (HY000): Could not find first log file name in binary log index file，通常是配置后没重启 MySQL，或 log-bin 路径不可写。

canal-adapter 同步 ES 需要正确配置 es7.yml（不是 es.yml）

Canal 1.1.5+ 版本起，ES 7.x+ 使用 es7.yml，旧版 es.yml 不兼容 —— 这是同步失败最常被忽略的点。

Linuxdo Application

为 Linux.do 注册撰写高通过率、去 AI 化的中文小作文。进行自适应调查以了解申请人的真实背景，...

下载

canal-adapter/conf/es7.yml 中关键项必须匹配你的 ES 实例：

esMapping:
  _index: product_index
  _type: _doc   # ES 7.x 已废弃 type，此处必须写 _doc，不能留空或填自定义值
  _id: _id
  pk: id        # 对应 MySQL 表主键字段名
  sql: "SELECT a.id as _id, a.name, a.price, a.status FROM t_product a"
  commitBatch: 3000

注意：sql 中字段别名必须和 ES mapping 字段一致；_id 必须显式映射，否则 ES 会生成随机 ID，导致重复文档。

ES 连接地址写法必须带协议和端口，例如：http://es-cn-xxx.elasticsearch.aliyuncs.com:9200；若用 HTTPS，需额外配置 sslEnabled: true 并挂载证书。

启动顺序和日志排查要点

Canal 同步链路是：MySQL → canal-server → canal-adapter → ES。任一环节断开都会静默失败，必须逐层确认。

先启动 canal-server，检查 logs/canal/canal.log 是否出现 Start CanalController successfully；再看 logs/example/example.log 是否有 connect to mysql success 和持续的 parse event 日志。
再启动 canal-adapter，重点看 logs/adapter/adapter.log 中是否有 Es7SyncService sync start 和 commit to es 成功记录；若只有 load table mapping... 却无后续，说明 SQL 没触发变更或表名大小写不匹配（Linux 下表名默认区分大小写）。
ES 端用 GET /product_index/_count 验证数据是否写入；若数量为 0，立刻查 adapter.log 最近 10 行，找 java.net.ConnectException 或 MapperParsingException —— 前者是连不上 ES，后者多因字段类型冲突（如 MySQL 的 datetime 映射到 ES 的 text 字段）。