JVM中DirectByteBuffer堆外内存的分配机制与NMT本地内存追踪

千萱同学_8015

千萱同学_8015

2026-07-14

609人浏览

原创

directbytebuffer易泄漏因堆外内存由os分配、cleaner异步回收且存在延迟;需用nmt定位,配合-xx:maxdirectmemorysize限流、缓冲池复用及主动clean()防护。

jvm中directbytebuffer堆外内存的分配机制与nmt本地内存追踪

DirectByteBuffer 是 Java 中最常用、也最容易被误用的堆外内存载体。它不占用堆内存,但实际申请的物理内存由操作系统直接提供,且不受 GC 主动管理——分配靠 Unsafe.allocateMemory,回收靠 Cleaner 异步触发,中间存在明显的时间差和不确定性。而 Native Memory Tracking(NMT)正是定位这类“看不见的内存”问题的关键工具。

DirectByteBuffer 的内存分配流程

调用 ByteBuffer.allocateDirect(cap) 时,并非简单返回一个缓冲区对象,而是触发一整套底层操作:

  • 先通过 VM.isDirectMemoryPageAligned() 判断是否需按页对齐;若开启,则实际分配大小 = 请求容量 + 一页大小(如 4KB),确保地址对齐;
  • 调用 Bits.reserveMemory(size, cap) 更新 JVM 内部的堆外内存总用量统计(用于配合 -XX:MaxDirectMemorySize 限流);
  • 真正向 OS 申请内存:unsafe.allocateMemory(size),返回基地址 base;
  • 若需页对齐且 base 不在页边界,则调整 address = base + ps - (base & (ps-1)),使后续访问更高效;
  • 最后绑定一个 Cleaner,其关联的 Deallocator 任务持有该 base 和实际容量,等待对象被 GC 后异步执行 unsafe.freeMemory。

为什么堆外内存容易泄漏

根本原因在于“壳小内存大”与“回收异步”两个特性叠加:

Tome
Tome

Tome是一款面向叙事型页面和演示内容创作的 AI storytelling 工具。

下载
  • DirectByteBuffer 对象本身只占几十字节堆空间,很难触发 GC,尤其在长生命周期对象(如静态缓存、连接池成员)中长期持有引用;
  • Cleaner 的清理依赖 ReferenceHandler 线程轮询虚引用队列,而该线程优先级低、调度不及时,可能延迟数秒甚至更久;
  • 如果应用频繁创建 DirectByteBuffer 且未显式调用 cleaner.clean() 或未及时断开强引用,就会造成堆外内存持续累积;
  • 一旦突破 -XX:MaxDirectMemorySize(默认等于 -Xmx),会抛出 OutOfMemoryError: Direct buffer memory,但此时 OS 层内存已大量占用,可能早被 OOM Killer 杀掉进程。

NMT 如何定位 DirectByteBuffer 泄漏

NMT 不直接显示每个 DirectByteBuffer 实例,但它能反映“Internal”或“Other”模块下异常增长的本地内存,再结合 detail 模式精准归因:

  • 启动时加参数:-XX:NativeMemoryTracking=detail -XX:MaxDirectMemorySize=512m;
  • 运行一段时间后,用 jcmd <pid> VM.native_memory summary</pid> 查看总体分布,重点关注 Internal 或 Other 类别是否持续上升;
  • 若怀疑 DirectByteBuffer,切换到 detail 模式并执行:jcmd <pid> VM.native_memory detail.diff</pid>,对比两次快照,观察 malloc 调用栈中是否大量出现 DirectByteBuffer.<init></init> 或 Bits.reserveMemory;
  • 还可配合 jmap -histo:live <pid></pid> 查看堆内 DirectByteBuffer 实例数,若数量稳定但 NMT 中 native 内存持续涨,说明 Cleaner 滞后或未触发,需检查引用链。

实用防护与调优建议

不能只靠 Cleaner 被动回收,必须主动干预:

  • 限制总量:显式设置 -XX:MaxDirectMemorySize=512m,避免失控增长;
  • 复用优先:使用 Netty 的 PooledByteBufAllocator 或自建 DirectBuffer 池,减少频繁分配;
  • 及时释放:对短期使用的 buffer,在业务逻辑结束时手动调用 ((DirectBuffer) buffer).cleaner().clean()(注意 NPE 风险,需判空);
  • 监控联动:将 NMT 报告接入 Prometheus(通过 JMX 或 jcmd 定时采集),设置 Internal 内存增长率告警;
  • 避免滥用:非高性能 IO 场景(如普通 JSON 解析、小文件读写)无需 DirectBuffer,HeapByteBuffer 更安全可控。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

5607

5

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.10

2428

6

Python uv使用教程
Python uv使用教程

本专题汇总了 Python uv 使用教程与高效使用指南,从 uv 安装配置、常用命令到虚拟环境、依赖管理与项目打包,系统讲解如何用 uv 替代 pip 与 poetry,全面提升 Python 项目开发效率,助你快速上手这一现代化包管理工具,打造干净高效的 Python 工作流。

2026.10.15

0

15

剧云AI短剧创作教程合集
剧云AI短剧创作教程合集

本专题聚焦剧云AI短剧创作,讲解从短剧灵感、梗概、全局大纲到分集、分场和正文的完整流程及节奏设计方法。

2026.10.14

0

15

剧云AI剧本创作零基础入门
剧云AI剧本创作零基础入门

本专题系统讲解剧云AI剧本创作流程,涵盖灵感、梗概、大纲、分场与正文生成,帮助新手快速完成首个中文剧本项目。

2026.10.14

0

14

VibeKnow文档转视频操作指南
VibeKnow文档转视频操作指南

本专题讲解VibeKnow上传Word、TXT、Markdown等材料生成视频的方法,覆盖内容解析、脚本组织、画面生成与成片检查。

2026.10.14

0

15

VibeKnow知识视频制作与导出详解
VibeKnow知识视频制作与导出详解

本专题整理VibeKnow从注册、素材上传、AI生成到预览导出的完整操作,帮助新手快速制作第一条知识讲解视频。

2026.10.14

0

13

二狗PPT大纲编辑实操指南
二狗PPT大纲编辑实操指南

本专题聚焦二狗PPT结构化大纲的生成和修改,讲解标题、正文、目录、页数与页面顺序的调整方法,提升汇报逻辑和内容完整性。

2026.10.14

0

15

二狗PPT文档转PPT全教程
二狗PPT文档转PPT全教程

本专题讲解二狗PPT解析Word、PDF、Excel和PPT资料的方法,涵盖文件上传、内容提取、大纲整理、异常处理与转换后校对。

2026.10.14

0

13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.7万人学习