java nio 使用 mappedbytebuffer 将文件直接映射到堆外内存,通过 filechannel.map() 方法处理超大文件。调用时指定 filechannel.mapmode.read_only 或 read_write、起始偏移量和映射长度即可获取缓冲区,随后像操作普通字节数组一样进行读写,操作系统负责按需加载页面,避免一次性加载整个文件导致内存溢出。

如何创建只读映射并读取前10MB数据
要读取超大文件的前10MB,需打开 RandomAccessFile 获取通道,调用 map() 方法映射前10MB(10 * 1024 * 1024 字节),然后从 MappedByteBuffer 中逐个读取字节。该方法返回的缓冲区位于堆外,不受 JVM 堆大小限制,但受限于进程虚拟地址空间的连续内存块。

import java.io.RandomAccessFile;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;
public class ReadMappedFile {
public static void main(String[] args) throws Exception {
String filePath = "large_file.dat";
long fileSize = 10L * 1024 * 1024; // 10 MB
try (RandomAccessFile raf = new RandomAccessFile(filePath, "r")) {
FileChannel channel = raf.getChannel();
MappedByteBuffer buffer = channel.map(FileChannel.MapMode.READ_ONLY, 0, fileSize);
byte firstByte = buffer.get(0);
byte lastByte = buffer.get((int) fileSize - 1);
System.out.println("First: " + firstByte);
System.out.println("Last: " + lastByte);
}
}
}
预期结果:程序成功打印出文件第一个和最后一个字节的值,无内存溢出异常。若文件小于10MB,则抛出 IllegalArgumentException。
如何写入数据并验证持久化
对于需要修改的文件,使用 MapMode.READ_WRITE 模式映射,修改缓冲区内容后调用 force() 确保数据刷入磁盘。写入操作同样基于页机制,仅修改的部分会被写回,未修改部分保持原样。注意 force() 是同步调用,会阻塞直到数据落盘。

import java.io.RandomAccessFile;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;
public class WriteMappedFile {
public static void main(String[] args) throws Exception {
String filePath = "test_mapped.dat";
long size = 1024;
try (RandomAccessFile raf = new RandomAccessFile(filePath, "rw")) {
FileChannel channel = raf.getChannel();
MappedByteBuffer buffer = channel.map(FileChannel.MapMode.READ_WRITE, 0, size);
buffer.put(0, (byte) 'A');
buffer.force(); // 强制刷新到磁盘
System.out.println("Written successfully.");
}
}
}
预期结果:文件 test_mapped.dat 的第一个字节变为 'A',其余字节为初始零值。调用 force() 后数据持久化,重启进程后读取仍可见该值。
映射长度超过文件实际大小时会发生什么
当请求映射的长度大于文件当前大小时,FileChannel.map() 会立即抛出 IllegalArgumentException。这是因为映射必须严格对应文件的现有范围,不能扩展文件边界。若需处理更大文件,应先调整文件大小或使用分段映射策略,每次映射一个不超过文件长度的区间。
Java免费学习笔记:立即使用
解锁 Java 大师之旅:从入门到精通的终极指南











