核心思路是边读边去重：用std::unordered_set记录已见行（O(1)查找），std::vector保存去重后保持原序的结果；需预处理trim统一空白，且reserve避免哈希冲突导致性能退化。
用 std::unordered_set + std::vector 实现去重逻辑
核心思路是边遍历边记录：对每行字符串，先查是否已见过，没出现过就加入结果容器并标记为已见。不能只用 std::set，它会自动排序，破坏原始顺序；std::unordered_set 提供 O(1) 平均查找，且不干扰顺序。
常见错误是把所有行先读进一个 std::vector 再二次遍历去重——这没问题，但若数据量大（比如上百万行），重复分配和多次迭代会拖慢速度。更优做法是一边读一边判断。
- 用
std::unordered_set<:string></:string>存已出现的行 - 用
std::vector<:string></:string>保存去重后、保持顺序的结果 - 逐行读取时，检查该行是否在 set 中存在；不存在则插入 set 并 push 到 vector
- 注意：空行也是有效字符串，是否保留取决于需求，
std::getline默认保留空行
处理换行符与前后空白带来的重复误判
实际文本中，“abc” 和 “abc\n” 或 “ abc ” 很可能本意是同一行，但字面不等，导致去重失效。这不是算法问题，而是预处理缺失。
关键点在于：去重前必须统一规范化每行内容。否则看似相同的两行，因末尾有 \r、\n、空格或制表符而被当作不同字符串。
- 读入后立即调用自定义 trim 函数，去掉首尾空白（包括
'\t'、'\n'、'\r'、' '） - Windows 文件常用
"\r\n"换行，Linux 是"\n"，std::getline已自动剥离'\n'（或"\r\n"），但残留'\r'在行尾很常见，尤其从 Windows 复制的文本 - 不要依赖
std::string::erase配合find_last_not_of两次调用——容易漏掉中间的 \r，建议手写 trim：从头跳过空白，从尾倒找非空白位置
避免 std::unordered_set 的哈希冲突放大性能问题
当输入含大量相似长字符串（如日志中仅时间戳不同的行），默认哈希函数可能产生较多冲突，使查找退化为 O(n)，整体变成 O(n²)。这不是理论陷阱，是真实压测中可复现的瓶颈。
解决方式不是换容器，而是优化哈希策略：提供定制哈希函数，或控制桶数量。但更简单有效的是——提前 reserve。
- 如果预估总行数 N（例如从文件 size / 平均行长粗略估算），创建 set 后立刻调用
set.reserve(N) - reserve 不改变 size，只分配足够桶空间，大幅降低 rehash 次数
- 若完全未知规模，至少设初始 bucket_count：如
std::unordered_set<:string> seen; seen.max_load_factor(0.75); seen.reserve(1024);</:string> - 别用
std::hash<:string_view></:string_view>替代 —— C++17 起支持，但需确保生命周期安全；std::string本身哈希已足够好，重点在 reserve
完整最小可运行示例（含 trim 和 reserve）
以下代码可直接编译运行，处理标准输入或文件流，输出去重后各行：
#include <iostream>
#include <string>
#include <vector>
#include <unordered_set>
#include <algorithm><p>std::string trim(const std::string& s) {
size_t start = s.find_first_not_of(" \t\r\n");
if (start == std::string::npos) return "";
size_t end = s.find_last_not_of(" \t\r\n");
return s.substr(start, end - start + 1);
}</p>
<p>int main() {
std::string line;
std::vector<:string> result;
std::unordered_set<:string> seen;
seen.reserve(4096); // 预分配，避免频繁 rehash</:string></:string></p>
<pre class="brush:php;toolbar:false;">while (std::getline(std::cin, line)) {
std::string cleaned = trim(line);
if (seen.find(cleaned) == seen.end()) {
seen.insert(cleaned);
result.push_back(cleaned);
}
}
for (const auto& s : result) {
std::cout <p>}
</p>
注意：如果输入来自文件，把 std::cin 换成 std::ifstream 即可；真正难处理的是超长行（几 MB）或嵌入二进制零字符的“伪文本”，这种场景需要额外按块读取和边界判断，不属于按行去重的基本范畴。
C++免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 C++ 的入门与实战技巧！
