c++oding="utf-8" ?>
std::set行去重性能差因红黑树节点分配、字符串深拷贝及o(log n)次o(m)比较；改用unordered_set+move语义可提速2–5倍，string_view进一步消除堆分配但需管理内存生命周期。
直接用 std::set 做行级去重，性能通常很差——它不是为高频字符串插入设计的，尤其当行数上万、每行几十到几百字节时，std::set 的红黑树节点分配+字符串拷贝+比较开销会明显拖慢整体处理速度。
为什么 std::set<:string></:string> 在行去重中容易变慢
每插入一行，std::set 都要：分配一个新节点、深拷贝整个 std::string、在红黑树中做 O(log n) 次 operator 比较（每次比较最坏是 O(m)，m 为字符串长度）。对 10 万行、平均 80 字节的文本，仅内存分配和字符串比较就可能吃掉 70% 以上时间。
-
std::set不支持移动语义优化插入（C++11 起虽支持emplace，但节点构造仍绕不开拷贝） - 重复字符串越多，红黑树查找路径越长，但“是否已存在”这个判断本身无法跳过
- 如果输入来自
std::getline，临时std::string对象反复构造/析构，加剧小对象分配压力
更快的替代方案：用 std::unordered_set + 移动插入
把红黑树换成哈希表，能将平均插入/查找降到 O(1)，配合移动语义避免冗余拷贝。关键点不在容器类型切换，而在怎么喂数据给它：
C++ Code Review Master
下载
组合式C++代码评审方案，融合静态分析、AI推理、多轮迭代评审和C++专项检查，适用于PR审查、增量代码审查、全项目评审和代码质量评分，触发词包括review cpp、cpp代码评审、C++review、代码审查。
- 用
std::unordered_set<:string></:string>替代std::set<:string></:string> - 读入每行后，用
insert(std::move(line))直接转移所有权，避免复制 - 若编译器支持 C++17，可加
reserve(N)预估桶数量（比如预估最多 5 万不重复行），减少 rehash 次数 - 注意：
std::unordered_set默认哈希函数对std::string是全量计算，但现代标准库（如 libstdc++ 7+、libc++）已做 SSO 优化，短字符串哈希很快
示例片段：
std::unordered_set<:string> seen;
seen.reserve(50000);
std::string line;
while (std::getline(in, line)) {
if (seen.insert(std::move(line)).second) {
// 插入成功，说明是新行，可输出或存入结果容器
out
<h3>极端场景下进一步提速：自定义哈希 + <code>std::string_view</code>（C++17）</h3>
<p>如果所有输入行都来自一块连续内存（比如一次性读入大 buffer 后按 <code>\n</code> 切分），可以用 <code>std::string_view</code> 避免任何字符串对象构造，再配一个轻量哈希（如 FNV-1a），彻底消除堆分配：</p>
<ul>
<li>
<code>std::unordered_set<:string_view></:string_view></code> 要求自定义哈希和相等谓词（因为 <code>std::string_view</code> 没有默认哈希）</li>
<li>哈希函数只需遍历字符，无需分配、无需考虑 null 终止——<code>string_view</code> 自带长度</li>
<li>必须确保所有 <code>string_view</code> 引用的内存生命周期长于 <code>unordered_set</code>（常见坑：把局部 <code>std::string</code> 的 <code>sv</code> 存进去，之后字符串析构导致悬垂）</li>
</ul>
<p>简易哈希示例：</p>
<pre class="brush:php;toolbar:false;">
struct sv_hash {
size_t operator()(std::string_view s) const noexcept {
size_t h = 14695981039346656037ULL;
for (unsigned char c : s) {
h ^= c;
h *= 1099511628211ULL;
}
return h;
}
};
std::unordered_set<:string_view sv_hash> seen;
</:string_view>
真正卡住性能的往往不是算法复杂度，而是字符串对象的生命周期管理与内存访问模式。用 std::set 做行去重，多数时候是习惯性选型；换成 unordered_set 加移动语义，几乎零成本就能提速 2–5 倍；而一旦开始控制内存布局，string_view 的优势才真正释放——但这时你得亲手管好那块内存的生与死。
C++免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 C++ 的入门与实战技巧！
