怎么利用 RandomAccessFile 的文件切片技术实现大文件多线程并发读取与分块合并

云芳小哥_5954

云芳小哥_5954

2026-04-15

832人浏览

原创

randomaccessfile分片读取必须手动计算offset和length,多线程需各自独立实例、严格按字节区间划分并显式处理余数,合并时seek写入必须对齐且避免覆盖。

怎么利用 randomaccessfile 的文件切片技术实现大文件多线程并发读取与分块合并

RandomAccessFile 分片读取必须手动计算 offset 和 length

直接用 RandomAccessFile 多线程读文件,不会自动帮你切位置 —— 每个线程得知道自己该从哪读、读多少。常见错误是让所有线程都从 0 开始读,或用 file.length() / threadCount 简单均分却忽略余数,导致最后几字节丢失、文件损坏。

正确做法是:按字节边界划分,每个线程负责一段连续区间,例如 4 线程处理 10MB 文件,则线程 0 读 [0, 2500000),线程 1 读 [2500000, 5000000),以此类推;最后一段要显式算出 end = Math.min(start + chunkSize, file.length())。

  • 切片前先调用 file.length() 获取真实大小,不能依赖文件系统缓存
  • 每个线程创建独立的 RandomAccessFile 实例(不要共享),避免 seek() 冲突和指针错位
  • 读取时用 read(byte[], off, len) 批量读,别用 read() 单字节循环,性能差且易出错

合并时 seek 写入必须严格对齐 chunkIndex × chunkSize

多线程写入合并文件最常崩在「覆盖写」或「错位写」:比如两个线程同时往同一个 RandomAccessFile 实例写,或一个线程 seek(1024) 后还没写完,另一个线程又 seek(1024) 覆盖了前半部分。

安全做法是:合并目标文件只开一个 RandomAccessFile("target", "rw"),每个线程拿到自己的写入偏移后,先 seek(pos),再 write(),且不加锁也必须保证 pos 不重叠 —— 这就要求分片逻辑和合并逻辑使用完全一致的切块公式。

Accessibility Review
Accessibility Review

对设计或页面进行 WCAG 2.1 AA 无障碍审计。触发关键词:“audit accessibility”、 “check a11y”、 “is this accessible?” 或在审查设计时使用。

下载
  • 写入前务必检查目标文件是否已存在且可写,否则 FileNotFoundException 或 AccessDeniedException
  • 不要在写入中途调用 getFilePointer() 判断位置,它返回的是当前指针,不是你期望的写入点
  • 若需断点续传,得额外记录每个分片的 chunkIndex 和完成状态,靠外部存储(如 Redis 或临时文件)协调

ThreadPoolExecutor 线程数 ≠ 文件分片数,但必须匹配

代码里常见硬编码 new ThreadPoolExecutor(n, n+1, ...),看似分配了 n 个线程对应 n 个分片,但实际运行中如果 n 超过 CPU 核心数太多,IO 等待反而加剧,吞吐不升反降。

合理设置应基于:文件大小、磁盘类型(SSD vs HDD)、JVM 堆内存。例如 10GB 文件在 SATA SSD 上,并发 8–16 线程较稳;若在机械盘上,4–8 更合适;超过 32 线程基本无收益,还可能触发 GC 压力。

  • 拒绝策略别用 AbortPolicy,建议 CallerRunsPolicy 让主线程兜底,避免任务丢失
  • 队列用 ArrayBlockingQueue 比 LinkedBlockingQueue 更可控,容量设为分片总数即可
  • 线程空闲时间不宜设太短(如 1L 秒),否则频繁销毁重建线程,开销反超收益

CompletableFuture 并行合并比裸线程更易控错和收口

用原始 Thread + CountDownLatch 做同步,一旦某个线程抛异常,latch.await() 可能永远卡住,或者异常被吞掉无法定位。

改用 CompletableFuture 就清晰得多:每个分片读取封装成一个 CompletableFuture<byte></byte>,用 CompletableFuture.allOf() 等全部完成,再统一收集结果或捕获异常堆栈。

  • 合并阶段若需顺序写入,仍得用单个 RandomAccessFile,但读取阶段可彻底并行化
  • thenAcceptAsync() 不要默认用公共 ForkJoinPool,应传入自定义线程池,避免干扰其他异步任务
  • 大文件场景下慎用 join() 阻塞等待,可用 orTimeout() 加超时保护,防某分片卡死拖垮整体
真正难的不是“怎么分”,而是“分完怎么确保每一块都精准落位、不丢不重、并发安全”。尤其当文件跨 GB、磁盘 IO 波动、JVM GC 抖动时,seek() 的毫秒级延迟、write() 的部分成功、线程调度的不可预测性,都会在最终合并文件里留下细微但致命的 corruption。这些细节,往往只在压测或线上真实大文件场景里才暴露。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

access

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

2023.06.15

11117

6

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

8242

9

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

2023.07.31

7112

8

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.01

1204

3

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.02

968

3

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

1436

5

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

2929

5

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

2023.08.03

20191

3

配置java环境变量
配置java环境变量

配置Java环境变量是为了让操作系统能够识别和使用Java的相关命令和功能。本专题为大家提供配置java环境变量相关文章,帮助大家解决问题。

2023.08.03

1295

8

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
SQL 教程
SQL 教程

共61课时 | 7.4万人学习

安装 Xdebug 并配置 phpstorm
安装 Xdebug 并配置 phpstorm

共1课时 | 190人学习

PostgreSQL 教程
PostgreSQL 教程

共48课时 | 20.6万人学习