c++怎么快速生成一个包含随机数据的1GB大型测试文件【实战】

梦枫小哥_4434

梦枫小哥_4434

2026-03-31

393人浏览

原创

用 fwrite 批量写入替代 std::ofstream

c++怎么快速生成一个包含随机数据的1gb大型测试文件【实战】

用 fwrite 配合缓冲区批量写入,别用 std::ofstream

直接用 std::ofstream 逐字节或逐行写,1GB 文件可能跑十几分钟;fwrite 批量写入能压到几秒内。核心是绕过 C++ iostream 的格式化开销和频繁 syscall,让数据以原始二进制块直通磁盘。

  • 每次写入至少 64KB(65536 字节),太小会抵消批量优势;1MB 是更稳妥的起点
  • 用 std::vector<uint8_t></uint8_t> 预分配缓冲区,填满后一次性 fwrite,避免 new/delete 频繁抖动
  • 不要用 std::rand() 填充——它慢且周期短;改用 std::mt19937 + std::uniform_int_distribution<uint8_t></uint8_t>,但注意:只初始化一次引擎,别在循环里反复构造
  • 文件打开必须用 "wb" 模式(C 风格)或 std::ios::binary | std::ios::out(C++ 风格),否则 Windows 下换行符会被悄悄替换,大小不准

生成 1GB 要精确控制字节数,别靠循环次数估算

1GB = 1073741824 字节(即 1 ),不是 <code>1000*1000*1000。用近似循环次数(比如“写 100 万次 1KB”)极易偏差几百 MB,尤其当缓冲区大小不能整除总长度时。

  • 计算完整写入次数:full_writes = total_size / buffer_size
  • 剩余字节数:remainder = total_size % buffer_size
  • 先循环 full_writes 次写满缓冲区,再单独处理 remainder 字节(用 fwrite(buf, 1, remainder, fp))
  • 务必用 fseek(fp, 0, SEEK_END) + ftell(fp) 或 stat() 校验最终文件大小,CI 环境或某些文件系统(如 exFAT)可能延迟落盘

Windows 下注意 _setmode(_fileno(fp), _O_BINARY)

即使开了 "wb",MSVC CRT 在某些配置下仍可能对 FILE* 默认启用文本模式,导致写入 0x0A 时自动转成 0x0D 0x0A,文件瞬间变大且内容错乱。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
  • 调用 fopen 后立刻加 _setmode(_fileno(fp), _O_BINARY)(仅 Windows)
  • Linux/macOS 不需要,但加了也无害(宏定义为空)
  • 若用 std::ofstream,则无需此步——但你本就不该用它(见第一条)

内存够就全塞进 std::vector,不够就分块生成

1GB 数据全 load 到内存再写,对多数现代机器(16GB+ RAM)是最快路径;但若内存紧张(比如嵌入式或容器限制),必须流式生成——此时随机性会受限于 PRNG 状态复用。

  • 全内存方案:分配 std::vector<uint8_t>(1073741824)</uint8_t>,用单个 std::mt19937 实例填充,再 fwrite(vec.data(), 1, vec.size(), fp)
  • 流式方案:每块用相同种子初始化 std::mt19937(如 mt19937{seed + chunk_idx}),保证各块独立可重现,但别用时间戳当种子——会导致块间重复
  • 绝对不要在循环里 new/delete 缓冲区;用一个 vector.resize() 复用内存

最易被忽略的是:关掉 stdout/stderr 的同步(std::ios_base::sync_with_stdio(false))没用——因为你根本不该用 iostream 写这个文件。真要快,从 fopen 到 fwrite 就一条直线,中间别拐弯。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据库Delete用法
数据库Delete用法

数据库Delete用法:1、删除单条记录;2、删除多条记录;3、删除所有记录;4、删除特定条件的记录。更多关于数据库Delete的内容,大家可以访问下面的文章。

2023.11.13

2811

4

drop和delete的区别
drop和delete的区别

drop和delete的区别:1、功能与用途;2、操作对象;3、可逆性;4、空间释放;5、执行速度与效率;6、与其他命令的交互;7、影响的持久性;8、语法和执行;9、触发器与约束;10、事务处理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.12.29

865

3

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.26

3159

3

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.27

2718

6

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

2023.08.01

1468

3

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

2499

5

windows无法访问共享电脑
windows无法访问共享电脑

在现代社会中,共享电脑是办公室和家庭的重要组成部分。然而,有时我们可能会遇到Windows无法访问共享电脑的问题。这个问题可能会导致数据无法共享,影响工作和生活的正常进行。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.08

3270

4

windows自动更新
windows自动更新

Windows操作系统的自动更新功能可以确保系统及时获取最新的补丁和安全更新,以提高系统的稳定性和安全性。然而,有时候我们可能希望暂时或永久地关闭Windows的自动更新功能。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

1577

3

windows boot manager
windows boot manager

windows boot manager无法开机的解决方法:1、系统文件损坏,使用Windows安装光盘或USB启动盘进入恢复环境,选择修复计算机,然后选择自动修复;2、引导顺序错误,进入恢复环境,选择命令提示符,输入命令"bootrec /fixboot"和"bootrec /fixmbr",然后重新启动计算机;3、硬件问题,使用硬盘检测工具进行扫描和修复;4、重装操作系统。本专题还提供其他解决

2023.08.28

2457

4

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习