c++怎么将std::unordered_set快速保存为二进制去重数据库【实战】

梦枫小哥_4434

梦枫小哥_4434

2026-03-31

458人浏览

原创

c++oding="utf-8" ?>

不能直接 memcpy 序列化 std::unordered_set,因其内部指针、桶数组、分配器等为运行时动态布局,跨进程/平台加载会导致崩溃或逻辑错误;应只序列化键值并重建哈希表。

c++怎么将std::unordered_set快速保存为二进制去重数据库【实战】

std::unordered_set 二进制序列化为什么不能直接 memcpy

因为 std::unordered_set 内部是哈希表,节点指针、桶数组、分配器状态等全是运行时动态布局,直接 memcpy 保存内存块,加载时指针失效、桶大小不匹配、哈希函数重排都会导致崩溃或逻辑错误。

常见错误现象:segmentation fault、iterator not dereferencable、加载后 find() 返回 end() 即使值存在、不同机器/编译器/STL 版本间完全不兼容。

  • 不要用 sizeof(std::unordered_set<t>)</t> 去算大小——它只是控制块大小,不含元素数据
  • 不要依赖 std::allocator 的默认行为做跨进程持久化——分配器可能带状态,且无标准二进制格式
  • 即使同版本 libstdc++,debug/release 模式下内部结构也可能不同

推荐做法:只序列化键值本身,重建哈希表

本质是「导出数据 + 重建容器」,牺牲一点加载时间,换来稳定、可移植、可调试的二进制格式。核心就是把 std::unordered_set<t></t> 当作一个去重的集合,只关心其中的 T 值。

使用场景:需要快速 dump/load 白名单、ID 集合、URL 去重缓存等;对写入吞吐要求不高,但对读取一致性、跨平台兼容性有硬需求。

  • 先用 std::vector 收集所有元素:std::vector<t>(s.begin(), s.end())</t>
  • 写入二进制前,加 4 字节小端 uint32_t 表示元素个数,再逐个写 sizeof(T) 字节(前提是 T 是 trivially copyable)
  • 加载时先读长度 N,分配 vector,读 N 个 T,再用 std::unordered_set<t>{v.begin(), v.end()}</t> 构造
  • 若 T 不是 trivial(比如 std::string),必须自定义序列化,不能按字节拷贝

示例(T = uint64_t):

// 保存
std::ofstream f("set.bin", std::ios::binary);
uint32_t n = static_cast<uint32_t>(s.size());
f.write(reinterpret_cast<const char>(&n), sizeof(n));
for (const auto& x : s) {
    f.write(reinterpret_cast<const char>(&x), sizeof(x));
}
</const></const></uint32_t>

std::string 在 unordered_set 中怎么安全二进制化

std::string 不是 trivial 类型,其内部有指针和 size/capacity,直接 memcpy 会保存野指针地址,加载后必然崩溃。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载

正确做法是「变长编码」:每个字符串先写 4 字节长度(小端),再写对应字节数的字符内容。这样既保持可读性,又避免指针问题。

  • 写入顺序必须固定:长度 → 数据,否则无法解析
  • 注意 std::string::data() 可能不以 \0 结尾,但二进制写入不需要 null 终止符
  • 如果字符串含二进制垃圾(如加密 token),仍可照常处理,只要长度字段准确
  • 性能影响:比 raw uint64_t 多一次长度字段写入 + 拷贝,但仍是 O(N),远快于 JSON/文本

示例(写入单个 std::string):

uint32_t len = static_cast<uint32_t>(str.length());
f.write(reinterpret_cast<const char>(&len), sizeof(len));
f.write(str.data(), len);
</const></uint32_t>

加载时如何避免 rehash 和内存抖动

默认构造 std::unordered_set 后 insert 所有元素,会触发多次 rehash,尤其在大数据量时明显拖慢加载速度。关键是在构造时预设 bucket 数量。

原理:std::unordered_set 构造函数支持传入期望元素数,STL 会据此向上取最近质数作为初始 bucket count,大幅减少后续扩容。

  • 保存时额外记下原始 size(已做),加载时用 std::unordered_set<t> set(n);</t> 初始化
  • 更优:用 reserve(n) 也可以,但构造时指定更干净(避免默认构造再 reserve)
  • 如果原始 set 负载因子很低(比如 max_load_factor() == 0.5),可按需调整构造参数,但通常默认即可
  • 注意:n 是元素个数,不是字节数,别和文件大小混淆

加载代码片段:

std::ifstream f("set.bin", std::ios::binary);
uint32_t n;
f.read(reinterpret_cast<char>(&n), sizeof(n));
std::vector<t> v(n);
for (auto& x : v) f.read(reinterpret_cast<char>(&x), sizeof(x));
std::unordered_set<t> s(v.begin(), v.end()); // 自动 reserve,但不如显式构造高效
// 更好:
std::unordered_set<t> s(n); // 显式 hint
s.insert(v.begin(), v.end());
</t></t></char></t></char>

真正麻烦的是自定义类型和非 trivial 分配器——这时候得手写 serialize() / deserialize(),而且要和业务强耦合。二进制格式一旦定下来,改字段就得加版本号,不然老数据全废。别图省事跳过这步。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

2023.08.07

2075

5

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.23

3062

1

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

2023.10.13

1036

3

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

2025.09.10

3479

7

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.02

5979

3

c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

2023.09.22

549

3

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

2024.03.01

1678

6

counta和count的区别
counta和count的区别

Count函数用于计算指定范围内数字的个数,而CountA函数用于计算指定范围内非空单元格的个数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.11.20

2908

5

登录token无效
登录token无效

登录token无效解决方法:1、检查token的有效期限,如果token已经过期,需要重新获取一个新的token;2、检查token的签名,如果签名不正确,需要重新获取一个新的token;3、检查密钥的正确性,如果密钥不正确,需要重新获取一个新的token;4、使用HTTPS协议传输token,建议使用HTTPS协议进行传输 ;5、使用双因素认证,双因素认证可以提高账户的安全性。

2023.09.14

13186

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习