如何排查由于在多级缓存架构中,误将超大视频文件的二进制数组加载到本地 JVM 堆内存中引发的暴死

梦静吖_5567

梦静吖_5567

2026-05-28

263人浏览

原创

这是典型的堆内存暴死,由视频二进制数据误入本地缓存导致;应立即禁止视频key写入堆缓存,改存元信息并用mappedbytebuffer等零拷贝方式处理。

如何排查由于在多级缓存架构中,误将超大视频文件的二进制数组加载到本地 jvm 堆内存中引发的暴死

这种情况属于典型的堆内存溢出,不是缓慢泄漏,而是“暴死”——几秒内耗尽堆空间、GC 失效、JVM 直接抛 java.lang.OutOfMemoryError: Java heap space 并崩溃。关键在于:**视频二进制数据本不该进堆,更不该进多级缓存的本地层(如 Caffeine、Guava Cache 或静态 HashMap)**。

确认是否真由视频二进制导致暴死

别猜,先验证:

  • 查日志开头几行:看 OOM 报错前最后几条业务日志,是否刚处理过视频上传/预览/转码请求?是否有类似 loadVideoBytes("xxx.mp4") 的调用痕迹
  • 看错误堆栈位置:OOM 异常抛出点是否在缓存 put 操作附近?例如 LocalCache.put(...)、ConcurrentHashMap.put(...) 或自定义缓存 wrapper 的 cacheVideo(...)
  • 用 jstat -gc <pid></pid> 在崩溃前快速观察:Eden 区几乎瞬时填满、YGC 频率飙升但回收量趋近于 0 —— 这是大对象连续分配的典型特征

定位具体哪段代码把视频塞进了堆

重点排查缓存写入路径,尤其是“本地缓存”这一层:

  • 搜索所有含 byte[]、ByteBuffer、InputStream.readAllBytes()、Files.readAllBytes() 的缓存写入逻辑
  • 检查缓存 key 是否包含视频 ID,value 是否直接是 byte[](而非 String url 或 Path)
  • 特别注意“降级逻辑”:当远程缓存(如 Redis)未命中时,是否直接读取本地磁盘视频并 put 到本地缓存?这类代码往往藏在 getVideoData(id) 方法末尾
  • 示例危险代码:
    cache.put(videoId, Files.readAllBytes(videoPath)); // 单个 500MB 视频 → 一次分配 500MB 堆对象

立即止损与临时缓解

线上已暴死,先保服务,再修代码:

  • 加 JVM 参数限制单次分配上限(治标):
    -XX:+UseG1GC -XX:G1HeapRegionSize=4M -XX:MaxGCPauseMillis=200(让 G1 更早触发 GC,减缓暴死节奏)
  • 紧急绕过本地缓存视频数据(推荐):
    在缓存 get 方法中增加判断:if (key.startsWith("video:")) return fetchFromRemoteOnly();,彻底禁止视频类 key 写入本地堆
  • 重启应用后,用 jmap -histo:live <pid></pid> 快速确认:排名前 3 的 class 是否含 [B(byte[])且 instance 数量突增、total bytes 超过 200MB

根治方案:视频数据绝不进 JVM 堆

视频是流式资源,必须脱离堆管理:

  • 本地缓存只存元信息:如 VideoMeta { id, size, duration, localPath, etag },真实文件走 FileChannel 或 RandomAccessFile 零拷贝传输
  • 若需“缓存加速”,用 OS page cache + 内存映射:
    MappedByteBuffer buffer = FileChannel.open(path).map(READ_ONLY, 0, fileSize); —— 占用的是直接内存(Direct Memory),不走堆,也不受 -Xmx 限制
  • 强制分块加载:任何视频操作必须带 offset/length,禁用 readAllBytes();播放器请求某一段,就只读对应区间
  • 加守卫校验:在缓存 put 前插入大小拦截:
    if (data.length > 5 * 1024 * 1024) throw new IllegalArgumentException("Refuse video binary > 5MB into heap cache");
PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

2023.06.15

10677

6

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

7802

9

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

2023.07.31

6792

8

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.01

1144

3

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.02

948

3

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

1396

5

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

2809

5

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

2023.08.03

20111

3

配置java环境变量
配置java环境变量

配置Java环境变量是为了让操作系统能够识别和使用Java的相关命令和功能。本专题为大家提供配置java环境变量相关文章,帮助大家解决问题。

2023.08.03

1235

8

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.7万人学习