C++如何实现字符串快速去重 _ std::sort与std::unique配合用法【干货】-C++-PHP中文网

std::unique仅移除相邻重复元素，需先sort再unique并erase才能真正去重；保序去重用unordered_set；UTF-8字符串须用Unicode-aware库处理。

c++如何实现字符串快速去重 _ std::sort与std::unique配合用法【干货】

std::unique 不能直接去重，必须先排序

std::unique 实际上只移除「相邻重复元素」，不是全局去重。如果原字符串是 "bacab"，直接调用 std::unique 后仍是 "bacab"（因为 'a' 和 'b' 不相邻），根本不会变。必须先用 std::sort 把相同字符挤到一起，再用 std::unique 才有效。

常见错误现象：std::unique 返回的迭代器看似“去重成功”，但实际只是把重复项挪到末尾，原容器长度没变，容易误以为结果已就绪——忘了用 erase 真删掉冗余部分。

正确顺序固定为三步：std::sort → std::unique → erase
对 std::string 操作时，std::sort 默认按 ASCII 值排序，大小写敏感（'A' 和 'a' 视为不同）
若需忽略大小写去重，得自己传比较函数，比如 [](char a, char b) { return std::tolower(a)

std::string 去重的最小可行代码模板

以下是最简、可直接粘贴运行的写法，适用于 ASCII 字符串：

std::string s = "hello world";
std::sort(s.begin(), s.end());
auto last = std::unique(s.begin(), s.end());
s.erase(last, s.end());
// s 变成 " dehlorw"

注意空格和标点也会参与排序和去重；如果只想处理字母，得先过滤（比如用 std::remove_if + std::isalpha）。

std::unique 返回的是新逻辑结尾的迭代器，不是删除个数，别用 std::distance 自己算长度再去 erase
不要对 std::string_view 直接操作——它不可变，得先转成 std::string
若字符串很长（比如 >10MB），std::sort 的 O(n log n) 开销可能比遍历哈希表还高，这时该换思路

不排序的去重：用 std::unordered_set 保持原始顺序

当要求「去重但保留首次出现顺序」时（例如输入 "abac" 要输出 "abc"），std::sort+std::unique 完全失效。此时应改用 std::unordered_set 辅助判断：

C++14

C++14 对 C++11 的修正与增强版本，适合旧系统维护和较老工具链兼容。

下载

std::string s = "abac";
std::unordered_set<char> seen;
std::string result;
for (char c : s) {
    if (seen.insert(c).second) { // insert 返回 pair<iter bool>，second 为 true 表示新插入
        result += c;
    }
}
// result == "abc"
</iter></char>

性能权衡：时间复杂度 O(n)，空间多用一个哈希表；而排序方案空间 O(1)（原地），但破坏顺序且更慢。

std::unordered_set 在 C++11 起可用，无需额外编译选项
若字符范围极小（如仅 ASCII 0–127），可用 std::array 替代哈希表，更快更省内存
注意 std::unordered_set::insert 的返回值含义，别写成 if (!seen.count(c)) —— 多一次查找，效率打折

Unicode 字符串不能直接用这套方法

上面所有方案都基于 char 或 std::string，本质是字节级操作。遇到 UTF-8 编码的中文或 emoji（如 "你好?"），一个字符占多个字节，std::sort 会把 UTF-8 字节乱序排列，产生非法编码；std::unique 则可能切开某个字符的字节序列，导致后续解析崩溃。

真正安全的做法是先用 ICU、utf8cpp 或 C++20 的 std::u8string + std::ranges::sort（配合 proper UTF-8 迭代器）拆出 Unicode 码点，再对码点去重。但这已超出 std::sort/std::unique 的能力边界。