利用Sublime正则表达式过滤重复的URL链接

梦明小哥_5466

梦明小哥_5466

2026-10-22

314人浏览

原创

匹配重复url需用^s(https?://1+)s$提取单行url,再通过查找全部、复制、排序及正则去重分步实现;高亮重复项可用^(\s*https?://[^s ]+\s*)$(?=s*)。s ↩

利用sublime正则表达式过滤重复的url链接

匹配重复 URL 的核心正则模式

Sublime Text 本身不支持“去重”原生操作,但可以靠正则先 ^s*(https?://[^s]+)s*$ 提取所有 URL 行,再用「查找全部 → 复制匹配 → 粘贴到新窗口 → 排序 + 正则删重复」分步完成。关键不是一步到位,而是把「识别重复」和「保留唯一」拆开做。

注意:URL 中可能含 #、?、&,所以不能简单用 ^https?://.*$ —— 它会跨行或吞掉空格后内容。稳妥写法是:^s*(https?://[^s ]+)s*$,其中 [^s ]+ 确保只捕获单行内 URL,避免误吞换行或缩进。

快速筛选并高亮所有重复项(非删除)

想先看哪些 URL 出现了多次?用 Sublime 的「Find All」配合反向引用:

^(s*https?://[^s ]+s*)$(? ❌ 不生效 —— Sublime 的正则引擎(PCRE 变种)不支持跨行回溯引用,这个写法会失败。

正确做法是两步走:

AI小聚
AI小聚

一款AI视频创作工具,主要用于一站式多功能AIGC创作平台,支持AI绘画、AI视频、AI聊天、AI音乐,适合需要提升相关任务效率的用户。

下载
  • 先用 ^s*(https?://[^s ]+)s*$ 查找所有 URL,按 Ctrl+Shift+G(Windows/Linux)或 Cmd+Shift+G(macOS)选中全部匹配项
  • 复制(Ctrl+C),新建窗口粘贴,执行菜单 Sort Lines(F9),再运行正则 ^(https?://[^s ]+)s*$ ^s*$ 并勾选 Regular Expression 和 Highlight matches only
  • 这时每对相邻重复 URL 都会被高亮,可人工确认或批量删第二行

真正去重:排序 + 删除连续重复行

Sublime 没有「按内容去重」命令,但 Sort Lines 后的连续重复行,可用正则精准干掉:

  • 先确保每行只含一个 URL(无空格/注释),否则先用 s*(https?://[^s ]+)s*.* 替换为 $1
  • 执行 Sort Lines(F9)
  • 查找:^(https?://[^s ]+)s*$ ^s*$,替换为:$1,勾选 Regular Expression 和 Replace All
  • 重复执行该替换,直到提示「0 occurrences found」—— 因为一次只能删相邻对,多重复需多轮

如果 URL 带末尾斜杠差异(如 https://a.com/ vs https://a.com),得先统一标准化,否则不会被识别为重复。

处理带参数或大小写的“逻辑重复”

真实场景中,https://example.com/?id=1 和 https://EXAMPLE.COM/?ID=1 应算重复,但默认正则不忽略大小写或 query 参数顺序。Sublime 无法自动归一化,必须预处理:

  • 用正则批量小写 host:https?://([^s/]+) → https://L$1E(L 和 E 是 Sublime 支持的大小写转换元字符)
  • 删掉所有 #.* 锚点(#.*$ → 空)
  • 对 query 参数排序?做不到 —— Sublime 正则无函数式处理能力,此时建议导出后用 Python/JS 脚本处理
  • 若只是粗略去重,加 Match Case 取消勾选,让查找忽略大小写,但替换仍需手动校验

别指望一条正则解决所有语义重复;URL 去重的边界在「字符串相等」,超出这个范围就得换工具。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
js正则表达式
js正则表达式

php中文网为大家提供各种js正则表达式语法大全以及各种js正则表达式使用的方法,还有更多js正则表达式的相关文章、相关下载、相关课程,供大家免费下载体验。

2023.06.20

4396

8

正则表达式不包含
正则表达式不包含

正则表达式,又称规则表达式,,是一种文本模式,包括普通字符和特殊字符,是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串,通常被用来检索、替换那些符合某个模式的文本。php中文网给大家带来了有关正则表达式的相关教程以及文章,希望对大家能有所帮助。

2023.07.05

2921

4

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

8062

9

java正则表达式匹配字符串
java正则表达式匹配字符串

在Java中,我们可以使用正则表达式来匹配字符串。本专题为大家带来java正则表达式匹配字符串的相关内容,帮助大家解决问题。

2023.08.11

812

5

正则表达式空格
正则表达式空格

正则表达式空格可以用“\s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。本专题为大家提供正则表达式相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.31

520

5

Python爬虫获取数据的方法
Python爬虫获取数据的方法

Python爬虫可以通过请求库发送HTTP请求、解析库解析HTML、正则表达式提取数据,或使用数据抓取框架来获取数据。更多关于Python爬虫相关知识。详情阅读本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.13

673

12

正则表达式空格如何表示
正则表达式空格如何表示

正则表达式空格可以用“\s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。想了解更多正则表达式空格怎么表示的内容,可以访问下面的文章。

2023.11.17

386

3

正则表达式中如何匹配数字
正则表达式中如何匹配数字

正则表达式中可以通过匹配单个数字、匹配多个数字、匹配固定长度的数字、匹配整数和小数、匹配负数和匹配科学计数法表示的数字的方法匹配数字。更多关于正则表达式的相关知识详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.12.06

719

7

php正则表达式有哪些
php正则表达式有哪些

php正则表达式有"/pattern/"、"^"、"$"、"."、"[]"、"[^]"、"[a-z]"、"[A-Z]"、"[0-9]"、"\d"、"\D"、"\w"、"\W"、&a

2024.02.23

312

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程