sublime text 无真正“一键保序去重”功能,需先统一换行符、清除尾部空白、启用“. matches newline”、重复执行正则^(.*$)\n(?=.*^\1$)替换,大文件应改用awk '!seen[$0]++'或sort lines: unique(不保序)。

Sublime Text 没有“一键保序去重”的正则替换操作——所有看似直接的 ^(.*$)\n(?=.*^\1$) 替换,都必须前置清洗、启用关键开关、且可能需多次执行才能清完。
为什么 ^(.*$)\n(?=.*^\1$) 经常不生效
这个正则本身逻辑正确,但 Sublime 的匹配引擎极度依赖环境配置,漏掉任意一环就完全不匹配:
- 没点右下角
.图标启用. matches newline→\n不参与跨行预查,整个(?=.*^\1$)失效 - 文件混用
\r\n和\n→^和$锚点错位,匹配范围偏移 - 行尾有空格、
\t或零宽字符(如\u200B)→"apple"和"apple "被视为不同行 - 未全选文本 → 只在光标所在段落内查找,不是全文扫描
真正能跑通的正则替换流程(保序,留第一处)
这不是“输完回车就完事”的操作,而是一组必须按顺序执行的清洗+匹配动作:
- 先统一换行符:
File → Line Endings → Unix(避免\r\n干扰锚点) - 清理尾部空白:打开
Find → Replace,查找\s+$,替换为空,Replace All - 打开
Ctrl+H,勾选Regular Expression和右下角.(启用. matches newline) - 查找框填:
^(.*$)\n(?=.*^\1$),替换框留空 - 点
Replace All;若提示“12 replacements”,再点一次——重复行可能分多批匹配
大文件(>5 万行)卡死时别硬等
Sublime 内置正则在大文本中会内存飙升、无响应、无法中断。这时候继续调参数是徒劳的:
- 立即关闭查找面板,放弃内置正则
- 终端执行:
awk '!seen[$0]++' file.txt(保序、自动忽略 BOM、兼容混合换行) - 若需归一化空格:
awk '{gsub(/^[ \t]+|[ \t]+$/, ""); if (!$0) next} !seen[$0]++' - 处理完复制结果回 Sublime,比等它转圈快十倍
想跳过正则?用 Sort Lines: Unique 但必须接受顺序重排
这是 Sublime 4.4+ 唯一真正“一键”的全局去重方式,但它不保序:
- 全选 →
Ctrl+Shift+P→ 输入Sort Lines: Unique→ 回车 - 等价于
sort -u,保留的是排序后每组中的首行,不是原文首次出现的那行 - 数字字符串如
log2.txt和log10.txt会错序(log10排在log2前),需额外装Natural Sort插件 - 快捷键需手动绑定:
{"keys": ["ctrl+alt+u"], "command": "sort_lines", "args": {"unique": true}}
最容易被忽略的不是语法,而是那个右下角的 . 开关——它不开,\n 就不进正则引擎,整个预查逻辑从根上失效;而大文件卡住时,很多人反复改正则,却忘了切到终端才是确定性更高的路径。











