java内存映射文件高速读写千万级结构化数据的核心是按需映射、定长布局与零拷贝访问；须将变长字段转为固定字节对齐的原始类型序列化，分段映射避免oom，并通过force()和load()控制落盘与预热，配合显式清理mappedbytebuffer防止句柄泄漏。
用Java内存映射文件高速读写千万级基本类型结构化数据，核心是绕过传统IO的多次拷贝，直接操作操作系统页缓存。关键不在于“全量加载”，而在于按需映射、定长布局、零拷贝访问。
结构化数据要先做定长二进制对齐
千万条数据若含变长字段（如String），内存映射就失去优势。必须转为纯定长布局：
- 例如每条记录含：int id（4字节） + long timestamp（8字节） + float value（4字节） → 每条固定16字节
- 避免对象封装，直接用原始类型序列化；可用Unsafe或ByteBuffer.putXXX()写入，保证字节序一致（通常用native order）
- 文件总大小 = 记录数 × 单条字节数，比如1000万 × 16B = 152MB，可整块映射，也可分段（如每100万条一段）
用FileChannel.map分段创建MappedByteBuffer
不建议一次性映射几十GB——虽操作系统支持，但JVM可能因DirectMemory限制报OOM。推荐按逻辑块分段处理：
- 打开RandomAccessFile（"rw"模式），获取FileChannel
- 计算起始offset和length：比如第i段从 i × segmentSize 字节开始，映射 segmentSize 字节
- 调用 channel.map(MapMode.READ_WRITE, offset, length) 获取MappedByteBuffer
- 用buffer.position()跳转到指定记录起始位置，再用putInt()/getLong()等方法读写，无需额外数组拷贝
写入后主动force()确保落盘，读取前load()预热页
映射后数据不会立即刷到磁盘，也不一定立刻加载进物理内存：
- 写完一批记录后，调用 buffer.force() 强制将脏页同步到文件系统（注意：不保证到达磁盘，但能进入OS page cache）
- 读取前，尤其随机访问时，可调用 buffer.load() 尝试预加载对应页，减少首次访问缺页中断延迟
- 用 buffer.isLoaded() 判断当前区域是否已在内存，辅助调试页加载行为
资源清理与JVM兼容性要点
MappedByteBuffer底层关联Native内存，GC不自动释放映射关系，长期运行需谨慎：
- Java 9+ 可通过反射调用 Cleaner 显式清理（如 invokeDirectCleaner(buffer)），避免mmap句柄泄漏
- 不要依赖finalize或弱引用等待回收；大文件处理完立即释放通道和RAF
- 注意Windows下文件被映射时无法被删除或重命名，Linux相对宽松
- 单个JVM进程映射总大小受系统参数限制（如Linux的vm.max_map_count），必要时调高
Java免费学习笔记：立即使用
解锁 Java 大师之旅：从入门到精通的终极指南
