Java 中怎么在多线程并发场景中使用 ArrayBlockingQueue 配合多线程实现高性能日志异步缓冲落盘

老丽大大_4120

老丽大大_4120

2026-08-14

483人浏览

原创

arrayblockingqueue 作为日志缓冲区核心,采用有界阻塞队列实现生产者-消费者解耦,支持多线程安全出入队、防内存溢出;典型三角色为采集线程(offer非阻塞)、落盘线程(take批量写磁盘)、守护线程(shutdown时drainto);需合理设容量、启用公平锁、复用日志对象并注册shutdownhook。

java 中怎么在多线程并发场景中使用 arrayblockingqueue 配合多线程实现高性能日志异步缓冲落盘

ArrayBlockingQueue 作为日志缓冲区的核心设计

ArrayBlockingQueue 是一个有界、线程安全的阻塞队列,底层基于 ReentrantLock + Condition 实现,适合在高并发写日志场景中做“生产者-消费者”解耦。它天然支持多线程安全入队(offer/put)和出队(poll/take),无需额外加锁,且容量固定可防内存溢出——这对日志系统至关重要:避免突发流量打爆堆内存。

典型三角色分工:日志采集、缓冲、落盘

建议拆分为三个明确角色:

Java Maven Code Review
Java Maven Code Review

审查Java Maven项目(ZIP压缩包或GitLab仓库URL),检查代码规范、命名、模块边界、可维护性问题以及重复代码。

下载
  • 日志采集线程(多个):业务线程调用 Logger.info() 时,仅执行 queue.offer(logEntry),非阻塞快速返回;若队列满,可丢弃低优先级日志(如 DEBUG)或降级为同步写(需配置策略)
  • 单个落盘消费线程:用 while + queue.take() 持续拉取,批量写入磁盘(如每 100 条或 100ms flush 一次),减少 IO 次数
  • 守护线程(可选):监听 JVM 关闭钩子,在 shutdown 时 drainTo 清空剩余日志,确保不丢失

关键配置与性能优化点

初始化时需权衡容量与响应性:

  • 容量设为 2^N(如 1024、4096),避免频繁扩容(ArrayBlockingQueue 不扩容,但过大易占内存,过小易丢日志)
  • 使用 new ArrayBlockingQueue(capacity, true) 启用公平锁,降低高并发下线程饥饿概率(尤其在日志峰值时)
  • 落盘线程建议设置为 Thread.setDaemon(false) 并注册 ShutdownHook,防止进程退出时日志截断
  • 日志对象尽量复用(如用 StringBuilder 构建 + logEntry.clear()),避免 GC 压力

简单可靠落地示例

不依赖 Logback 或 Log4j,纯 JDK 实现核心骨架:

// 初始化
private static final ArrayBlockingQueue<string> logQueue = 
    new ArrayBlockingQueue(8192, true);
<p>// 采集端(任意业务线程调用)
public static void asyncLog(String msg) {
if (!logQueue.offer("[INFO] " + System.currentTimeMillis() + " - " + msg)) {
// 队列满,按需处理:丢弃 / 记录告警 / 降级同步写
System.err.println("Log queue full, dropped: " + msg);
}
}</p>
<p>// 落盘线程(启动一次)
new Thread(() -> {
List<string> batch = new ArrayList(512);
try (PrintWriter writer = new PrintWriter(new FileWriter("app.log", true))) {
while (!Thread.currentThread().isInterrupted()) {
batch.clear();
// 批量拉取,兼顾实时性与吞吐
logQueue.drainTo(batch, 512);
if (!batch.isEmpty()) {
batch.forEach(writer::println);
writer.flush();
}
Thread.sleep(10); // 防忙等,也可用 take() 单条处理
}
} catch (Exception e) {
e.printStackTrace();
}
}, "log-flusher").start();
</string></p></string>

Java免费学习笔记:立即使用
解锁 Java 大师之旅:从入门到精通的终极指南

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

java

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

2023.06.15

9557

6

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

6702

9

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

2023.07.31

5952

8

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.01

1044

3

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.02

868

3

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

1236

5

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

2509

5

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

2023.08.03

19851

3

配置java环境变量
配置java环境变量

配置Java环境变量是为了让操作系统能够识别和使用Java的相关命令和功能。本专题为大家提供配置java环境变量相关文章,帮助大家解决问题。

2023.08.03

1135

8

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
dev.java 官方:Learn Java
dev.java 官方:Learn Java

共0课时 | 0人学习

Java JDBC数据库连接官方教程
Java JDBC数据库连接官方教程

共0课时 | 0人学习