最直接核心思路是用std::istringstream分词后插入std::unordered_set,若insert返回second为false则重复;需预处理标点、统一大小写,并注意空字符串等边界情况。

用 std::unordered_set 检查单词重复最直接
核心思路是把每个单词拆出来,插入哈希集合;如果某次插入失败(即 insert 返回的 second 为 false),说明已存在相同单词。注意这里“单词”默认按空白分隔,不处理标点——若需清洗标点,得先预处理。
常见错误是直接对整个字符串做 std::unordered_set<:string></:string> 插入,结果判断的是“整个字符串是否重复”,而非“单词是否重复”。必须先分词。
- 用
std::istringstream拆分最轻量,适合纯空格分隔场景 - 若含制表符、换行等,
std::istringstream仍能自动跳过,无需额外 trim - 遇到连续空格或首尾空格,它会自动忽略,不会产生空字符串
处理标点时别用 std::string::find_first_of 硬切
想保留单词本意(比如 "hello," 和 "hello" 应视为同一单词),直接按标点切分会引入碎片。更稳妥的做法是:遍历字符,用 std::isalnum 判断是否属于单词字符,累积成临时 word,遇到非字母数字就 flush 当前 word 并重置。
容易踩的坑是调用 std::ispunct 后直接跳过,却忘了像单引号 ' 这种在缩写中合法(如 don't)的情况——除非业务明确要求剔除所有标点,否则建议只剥离两端标点,用 std::string::find_first_not_of 和 find_last_not_of 配合 " \t\n\r.,!?;:\"'()[]{}" 字符集。
std::set 和 std::unordered_set 性能差异明显
单纯查重,std::unordered_set 平均 O(1) 插入+查找,std::set 是 O(log n)。当单词数超过几百,差距可测;上万单词时,前者通常快 2–5 倍。但 unordered_set 有哈希冲突风险,若单词极多且哈希函数不佳(比如全是短字符串),可能退化。
- 默认
std::hash<:string></:string>在主流 STL 实现中足够健壮,无需自定义 - 如果确定单词长度很短(如全为 2–4 字母),可考虑用
std::string_view避免频繁构造std::string对象 - 不要为省几毫秒而提前 micro-optimization;先用
unordered_set,profile 真慢再调
大小写敏感与否得在分词后统一处理
不能靠 std::tolower 逐字符转再比较——中文 Windows 下 locale 设置不当会导致 std::tolower 对非 ASCII 字符返回 EOF,引发未定义行为。安全做法是:分词后,对每个 std::string 构造新字符串,用 std::transform + std::tolower(传入 std::locale{})转换,或更简单地用循环 + static_cast<unsigned char></unsigned> 强转后调用 std::tolower。
另一个坑是误用 std::toupper 或 std::tolower 直接作用于 char 而不转成 unsigned char,在 char 为有符号且值为负时(如某些 UTF-8 字节),行为未定义。
实际中最容易被忽略的是边界情况:空字符串、全空格字符串、只有一个单词、单词含 Unicode(如 emoji 或中文)——这些情况下分词逻辑是否仍健壮,得靠测试覆盖。别假设输入永远“规范”。
C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!











