Spring Batch如何高效处理千万级Oracle数据迁移

云浩大大_4146

云浩大大_4146

2026-10-06

704人浏览

原创

千万级oracle迁移卡在jdbccursoritemreader上,主因是默认未设fetchsize导致驱动一次性拉取全量数据引发oom;须显式设fetchsize为500–2000、关闭自动提交、限定查询字段并排除clob/blob。

spring batch如何高效处理千万级oracle数据迁移

千万级Oracle迁移卡在JdbcCursorItemReader上?

直接用默认配置的 JdbcCursorItemReader 读取千万行 Oracle 表,大概率会 OOM 或连接超时。Oracle 的游标(尤其是 REF CURSOR)在 JDBC 驱动层默认启用缓存、不支持真正流式读取,加上 Spring Batch 默认未设 fetchSize,驱动会一次性把结果集全拉进内存。

必须显式控制底层 JDBC 行为:

  • fetchSize 设为 500–2000(实测 Oracle 19c + ojdbc8 下 1000 较稳),过大会占内存,过小会增加网络往返
  • 关闭自动提交:setAutoCommit(false)(由 Spring Batch 事务管理接管,但驱动层需配合)
  • 使用 ResultSet.TYPE_FORWARD_ONLY 和 ResultSet.CONCUR_READ_ONLY,避免驱动偷偷缓存滚动结果集
  • SQL 中避免 SELECT *,只查迁移所需字段;若含 CLOB/BLOB,务必单独处理或排除——它们会触发额外 LOB 定位器加载

写入端用JdbcBatchItemWriter还是自定义?

千万级写入,JdbcBatchItemWriter 是起点,但开箱即用容易翻车:它默认每 chunk 提交一次事务,而 Oracle 对高频小事务极其敏感(redo log 刷盘压力大、UNDO 段争用)。

关键调整点:

  • chunk size 不要盲目调大——设为 5000~10000 是平衡点;再大可能触发 Oracle 单次 DML 的 bind 变量上限(如 ORA-01000: maximum open cursors exceeded)
  • 必须开启 useSharedExtendedAttributes=true(ojdbc8+),否则批量绑定参数时可能报 ORA-01795
  • 禁用 isUseColumnMetaData=false,跳过驱动自动查数据字典(千万级表元数据查询本身就很慢)
  • 如果目标表有大量索引/约束/触发器,迁移前临时 disable,结束后 rebuild —— JdbcBatchItemWriter 无法绕过这些开销

如何避免JobRepository成瓶颈?

默认基于 Oracle 的 JdbcJobRepository 在千万级任务中,每次 chunk 提交都要更新 BATCH_STEP_EXECUTION 和 BATCH_JOB_EXECUTION 表,尤其 READ_COUNT/WRITE_COUNT 字段高频 update,极易引发行锁和日志风暴。

QuantOracle
QuantOracle

63个确定性量化金融计算器 + 10个通过MCP的复合工作流。期权定价、Greeks、奇异衍生品、风险指标、投资组合优化……

下载

务实解法不是“优化 SQL”,而是降频记录:

  • 重写 StepExecutionListener,只在 step 开始、结束、失败时更新计数,中间 chunk 跳过 updateStepExecution
  • 将 JobRepository 切到内存实现(MapJobRepositoryFactoryBean)——仅限单机、非高可用场景,但对纯迁移类一次性任务足够安全
  • 若必须持久化,把 BATCH_* 表迁到独立小库(如 H2 内存库或专用轻量 PG),与业务 Oracle 物理隔离

分片(Partitioning)真能提速?什么情况下反拖后腿?

分片不是银弹。对 Oracle 单表千万行迁移,只有当满足「可均匀切分 + 切分键高基数 + 目标表无全局唯一约束冲突」时才值得上。

典型有效分片方式:

  • 按主键范围分片:WHERE id BETWEEN :min AND :max,需提前统计 min/max 并等宽划分
  • 按时间分区字段分片(如 create_time >= ? AND create_time ),前提是表已按时间分区且统计信息准确

踩坑警告:

  • 用 MOD(id, N) 分片?Oracle 会全表扫描+计算,比不分片还慢
  • 分片后每个 worker 连接各自查源表?没共享连接池的话,N 个分片 = N 倍数据库连接消耗,可能直接打满 Oracle 的 processes 参数
  • 目标表有自增主键或全局唯一索引?分片并发写入必然冲突,必须改用 UUID 或预分配 ID 段

最常被忽略的一点:分片元数据(PartitionHandler)本身依赖 JobRepository,如果 JobRepository 已是瓶颈,加了分片反而放大问题。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

oracle

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
大数据分析工具有哪四个
大数据分析工具有哪四个

大数据分析的四个工具分别是rapidminer、Hpcc、Hadoop和Pentaho bi。大数据分析用于从各种来源生成的原始数据中提取有价值的数据。这些数据帮助我们获得有意义的见解、隐藏的模式、未知的相关性、市场趋势等等,具体取决于行业。大数据分析的主要动机是提供有价值的见解,以便为未来做出更好的决策。php中文网为大家带来了大数据分析的相关教程、以及相关文章等内容,供大家免费下载使用。

2023.06.21

4676

5

Java 大数据处理基础(Hadoop 方向)
Java 大数据处理基础(Hadoop 方向)

本专题聚焦 Java 在大数据离线处理场景中的核心应用,系统讲解 Hadoop 生态的基本原理、HDFS 文件系统操作、MapReduce 编程模型、作业优化策略以及常见数据处理流程。通过实际示例(如日志分析、批处理任务),帮助学习者掌握使用 Java 构建高效大数据处理程序的完整方法。

2025.12.08

1229

12

大数据专业学习教程
大数据专业学习教程

本专题整合了大数据专业学习相关教程,阅读专题下面的文章了解更多详细内容。

2026.01.05

223

5

python处理大数据合集
python处理大数据合集

本专题整合了python处理大数据相关教程,阅读专题下面的文章了解更多详细内容。

2026.01.05

466

22

oracle清空表数据
oracle清空表数据

当表中的数据不需要时,则应该删除该数据并释放所占用的空间。本专题为大家提供oracle清空表数据的相关文章,帮助大家解决该问题。

2023.08.16

901

5

Oracle中declare的使用
Oracle中declare的使用

Oracle DECLARE语句是PL/SQL编程语言中用于声明变量、常量、游标或异常的关键字。它的主要作用是在程序中定义这些对象,以便在后续的代码中使用。DECLARE语句的语法简单明了,可以根据需要声明多个对象。通过使用这些声明的对象,可以进行各种操作,如计算、查询数据库、处理异常等 。

2023.09.15

2573

5

oracle怎么分页
oracle怎么分页

实现分页的步骤:1、使用ROWNUM进行分页查询;2、在执行查询之前进行设置分页参数;3、使用"COUNT(*)"函数来获取总行数,并使用"CEIL"函数来向上取整计算总页数;4、在外部查询中使用"WHERE"子句来筛选出特定的行号范围,以实现分页查询。想了解更多oracle怎么分页的文章,可以来阅读本专题先的文章。

2023.09.18

2610

5

Oracle查看表操作历史记录
Oracle查看表操作历史记录

查看操作历史记录的方法:1、使用Oracle内置的审计功能,可以记录数据库中发生的各种操作,包括登录、DDL语句、DML语句等;2、使用Oracle日志文件,其中包含了数据库中发生的各种操作,可以通过查看日志文件来获取操作历史记录;3、使用Oracle的Flashback功能,可以查看数据库在某个时间点的操作历史记录;4、使用第三方工具等。本专题还提供其他查看表操作的文章,大家可以免费阅读。

2023.09.19

1489

3

Oracle中RAC的用法
Oracle中RAC的用法

Oracle中RAC的用法:1、通过在多个服务器上运行数据库实例来提供高可用性;2、允许在需要时增加或减少节点数量;3、通过将工作负载分布到多个节点上来实现负载均衡;4、使用共享存储来实现多个节点之间的数据共享;5、允许多个节点同时处理数据库请求,从而实现并行处理;6、提供了透明故障切换功能;7、使用了一些技术来确保数据的一致性;8、提供了管理工具来简化RAC环境的管理和维护。本专题还提供RAC相关的其他文章,大家可以免费阅读。

2023.09.19

2093

7

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程