Java 中怎么用线程池实现高并发下的批量数据入库

夏浩君_1826

夏浩君_1826

2026-09-23

565人浏览

原创

关键在于分层缓冲、批次控制与资源隔离:用有界arrayblockingqueue缓冲请求,scheduledthreadpoolexecutor定时批量消费,每批独占连接与事务,线程池参数需与数据库连接池(如hikaricp)对齐。

java 中怎么用线程池实现高并发下的批量数据入库

用线程池实现高并发下的批量数据入库,关键不在“多开线程”,而在于**分层缓冲 + 批次控制 + 资源隔离**。直接让上百个线程同时执行 insert 语句,极易打满数据库连接、触发锁竞争甚至连接超时。真正稳定高效的方案,是把“接收”“暂存”“组装”“写入”四个环节解耦。

一、用有界队列做第一道缓冲

避免请求直接冲击数据库。所有待入库数据先丢进一个容量可控的阻塞队列:

  • ArrayBlockingQueue(非 LinkedBlockingQueue),显式指定容量(如 2000),防止内存溢出;
  • 生产者(如 API 接收端)调用 queue.offer(data),失败时可降级为本地缓存或异步重试;
  • 拒绝策略建议用 CallerRunsPolicy:当队列满时,由提交线程自己执行任务,自然限流,不丢数据也不抛异常。

二、用定时批量消费器代替“每来一条就插一条”

别用 Timer,改用 ScheduledThreadPoolExecutor(至少 corePoolSize=1)定期拉取批次:

Alibabacloud Sdk Client Initialization For Java
Alibabacloud Sdk Client Initialization For Java

在 Java 中初始化和管理阿里云 SDK客户端。包括单例模式、线程安全、endpoint 与 region 配置、VPC 终端节点、同步与异步等。

下载
  • 每次用带超时的循环 poll(10, MILLISECONDS) 组装一批(比如目标 500 条,最多等 100ms);
  • 组装前加判空:if (!batch.isEmpty()) { doBatchInsert(batch); },防空提交报错;
  • 单次拉取不强求“刚好满批”,宁可略少但及时,兼顾实时性与吞吐。

三、每个批次独占数据库连接和事务

这是避免连接争用和事务污染的核心:

  • 每个消费任务内部新建 Connection(Spring 环境下用 @Transactional 方法或 TransactionTemplate);
  • PreparedStatement.addBatch() + executeBatch(),不要循环 executeUpdate;
  • 每批大小建议 200~500 条——太小调度开销大,太大易触发 MySQL 的 max_allowed_packet 或事务锁时间过长。

四、线程池参数要跟数据库连接池对齐

线程池不是越大越好,必须匹配下游能力:

  • 若 HikariCP 的 maximum-pool-size=20,线程池 corePoolSize 设 8~12 更稳妥
  • ForkJoinPool.commonPool()newFixedThreadPool,别用 CachedThreadPool(可能无限创建线程);
  • keepAliveTime 可设为 60 秒,非核心线程空闲后及时回收。

Java免费学习笔记:立即使用
解锁 Java 大师之旅:从入门到精通的终极指南

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

java

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

2023.06.15

8917

6

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

6122

9

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

2023.07.31

5512

8

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.01

984

3

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.02

828

3

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

1156

5

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

2349

5

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

2023.08.03

19691

3

配置java环境变量
配置java环境变量

配置Java环境变量是为了让操作系统能够识别和使用Java的相关命令和功能。本专题为大家提供配置java环境变量相关文章,帮助大家解决问题。

2023.08.03

1075

8

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
dev.java 官方:Learn Java
dev.java 官方:Learn Java

共0课时 | 0人学习

Java JDBC数据库连接官方教程
Java JDBC数据库连接官方教程

共0课时 | 0人学习