用while循环配合blockingqueue.drainto()批量入库,核心是避免单条处理的锁开销和数据库交互频次,通过poll(timeout)触发、drainto预分配list复用、有界队列背压及每批独立事务实现高效安全批量写入。

用 while 循环配合 BlockingQueue.drainTo() 批量入库,核心在于**避免单条处理的锁开销和数据库交互频次**,同时保持线程安全与背压控制。关键不是“一直 drain”,而是“有数据才 drain,且每次尽量多取”。
用非阻塞方式轮询 + drainTo 控制批量节奏
别让 while(true) 空转消耗 CPU,也不要用 queue.take() 单条取——那会抵消 drainTo 的优势。推荐在循环中用 poll(timeout) 尝试获取“启动信号”,再立即 drainTo 批量消费:
- 先调用
queue.poll(100, TimeUnit.MILLISECONDS):等待最多 100ms,有数据就立刻开始批量处理;超时则继续下一轮,不忙等 - 紧接着调用
drainTo(bufferList, batchSize):把队列里最多batchSize(如 1000)个元素一次性导出到预分配的List - 若
bufferList非空,执行批量 JDBC 插入(如PreparedStatement.addBatch()+executeBatch()),再清空 list 复用
预分配 bufferList 并复用,避免频繁 GC
drainTo(Collection) 不创建新集合,但传入的 list 若每次 new,会增加 GC 压力。正确做法是:
- 在循环外初始化一个可重用的
ArrayList<t></t>,容量设为典型批大小(如new ArrayList(1024)) - 每次
drainTo(bufferList, maxSize)前,调用bufferList.clear()(不是new) - 若某次
drainTo返回数量接近maxSize,说明队列仍较满,可考虑小幅提升下次 batch size(自适应);反之则维持或略降
结合 offer() 端的背压策略,防止 OOM
光靠消费端优化不够。生产者往 BlockingQueue 写数据时,必须配合背压,否则内存爆掉:
- 选用有界队列(如
new ArrayBlockingQueue(10000)),而非无界LinkedBlockingQueue - 生产者调用
queue.offer(data, timeout, unit)而非put():超时失败时可降级(如丢弃、告警、写本地文件) - 监控队列剩余容量(
queue.remainingCapacity()),低水位时触发日志或动态限流
异常处理与事务边界要清晰
批量入库失败不能全盘回滚——一条脏数据不该拖垮整批。建议:
- 每批插入用独立事务(或数据库 auto-commit 模式),失败时只丢弃当前批,记录错误日志和原始数据(可存 error queue)
- 不要在
while循环内 catchException后 continue:需区分SQLException(DB 问题)、InterruptedException(线程中断)、RuntimeException(代码 bug) - 捕获
InterruptedException后应恢复中断状态(Thread.currentThread().interrupt()),并安全退出循环











