如何在Java中使用JDBC实现Oracle数据库的增量同步

千晨同学_6332

千晨同学_6332

2026-07-14

432人浏览

原创

增量同步必须依赖last_update_time等可识别变更的字段,优先选用带索引的last_update_time,配合PreparedStatement绑定Timestamp参数、分批提交、MERGE幂等写入及断点续传控制表实现可靠同步。

增量同步必须依赖可识别变更的字段

oracle本身不提供全局递增id或自动更新时间戳,所以java端做增量同步前,得先确认源表有没有 last_update_time 或 create_time 这类能反映变更的字段。没有的话,dbms_logmnr 或物化视图日志虽可行,但运维成本高,不建议在jdbc层硬扛。

常见错误现象:用 ROWNUM 或 ROWID 当增量依据——它们不随业务变更稳定递增,重跑时会漏数据或重复插入。

  • 优先选 last_update_time(带索引),查询条件写成 WHERE last_update_time > ?
  • 若只有 create_time,且业务只做 INSERT 不 UPDATE/DELETE,则可用;否则无法捕获修改
  • 避免用 SYS_GUID() 或序列值做判断,无时间语义,无法排序和断点续传

PreparedStatement + 时间参数绑定是核心写法

每次同步需记住上一次最大时间点,下次查询就从这个时间点往后取。不能靠“查 MAX(time) 再 +1 秒”这种粗略方式,Oracle毫秒级时间可能有重复。

示例关键片段:

String sql = "SELECT id, name, value, last_update_time FROM t_user WHERE last_update_time > ?";
PreparedStatement ps = conn_source.prepareStatement(sql);
ps.setTimestamp(1, lastSyncTime); // lastSyncTime 是上次同步记录的最大时间
ResultSet rs = ps.executeQuery();

注意:setTimestamp 必须用 java.sql.Timestamp,不是 java.util.Date;Oracle对时区敏感,确保 JDBC URL 里加了 serverTimezone=UTC 或显式设置 Calendar 实例。

  • 查询结果集建议调用 rs.setFetchSize(5000),减少网络往返次数
  • 别用 rs.next() 配合 Thread.sleep() 控速——这是反模式,应由数据库限流或应用层队列控制
  • 如果源表没索引在 last_update_time 上,全表扫描会拖垮性能,务必补建

批量写入目标库要关自动提交 + 分批提交

目标库插入不设事务边界,轻则锁表,重则 ORA-01555 快照过旧错误。尤其当源数据量大、单次拉取超10万行时,必须手动分批。

Java Maven Code Review
Java Maven Code Review

审查Java Maven项目(ZIP压缩包或GitLab仓库URL),检查代码规范、命名、模块边界、可维护性问题以及重复代码。

下载

典型做法:

  • 目标连接调用 conn_destination.setAutoCommit(false)
  • 每 5000 行执行一次 ps_target.executeBatch() + conn_destination.commit()
  • 捕获 SQLException 后,回滚当前批次,记录失败 offset 和时间范围,便于重试
  • 避免用 addBatch() 堆积百万条再 execute —— 内存溢出风险高,且 Oracle 批处理上限默认是 1000 条/批

断点续传和幂等写入缺一不可

网络抖动、JVM Crash、数据库瞬断都会导致同步中断。只靠“记时间戳”不够,还得在目标表加唯一约束或用 MERGE 语句。

推荐写法:

MERGE INTO t_user_dst t
USING (SELECT ? id, ? name, ? value, ? last_update_time FROM dual) s
ON (t.id = s.id)
WHEN MATCHED THEN UPDATE SET t.name = s.name, t.value = s.value, t.last_update_time = s.last_update_time
WHEN NOT MATCHED THEN INSERT (id, name, value, last_update_time) VALUES (s.id, s.name, s.value, s.last_update_time)

这样即使同一批数据重推,也不会报唯一键冲突或丢更新。

  • 每次同步成功后,把本次查询到的最大 last_update_time 写入一张控制表(如 sync_checkpoint),而不是存在内存或文件里
  • 不要依赖 JVM shutdown hook 记 checkpoint —— 容器重启或 kill -9 时它不触发
  • Oracle 的 MERGE 在 10g 及以上都支持,但注意目标列不能为 NULL 约束而源数据为 NULL,否则报 ORA-01400
真正麻烦的从来不是代码怎么写,而是时间字段是否可靠、索引是否生效、目标表是否有主键或唯一键支撑 MERGE。这些不在 Java 里,但在 Oracle 里,漏掉任何一个,同步就会变成定时炸弹。

Java免费学习笔记:立即使用
解锁 Java 大师之旅:从入门到精通的终极指南

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

2023.06.15

9417

6

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

6582

9

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

2023.07.31

5872

8

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.01

1024

3

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.02

868

3

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

1236

5

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

2469

5

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

2023.08.03

19811

3

配置java环境变量
配置java环境变量

配置Java环境变量是为了让操作系统能够识别和使用Java的相关命令和功能。本专题为大家提供配置java环境变量相关文章,帮助大家解决问题。

2023.08.03

1115

8

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
dev.java 官方:Learn Java
dev.java 官方:Learn Java

共0课时 | 0人学习

Java JDBC数据库连接官方教程
Java JDBC数据库连接官方教程

共0课时 | 0人学习