如何通过 String.prototype.matchAll() 实现对原始文本中所有超链接的深度抓取-js教程-PHP中文网

应使用增强型正则表达式匹配各类url：支持http/https/ftp协议、协议相对路径//、www开头、unicode域名、ip、端口、路径、查询参数、锚点，并自动过滤尾随标点。

如何通过 string.prototype.matchall() 实现对原始文本中所有超链接的深度抓取

要用 matchAll() 深度抓取原始文本中的所有超链接，核心是构造一个能覆盖常见 URL 形态（含协议、相对路径、带端口、含查询/片段、甚至中文域名等）的正则表达式，并正确处理匹配结果的结构化提取。

匹配模式需兼顾完整性与安全性

单纯用 /https?://S+/g 会漏掉 www.example.com、//cdn.jsdelivr.net/... 等常见形式，也容易误捕标点或换行符。推荐使用经过验证的增强型 URL 正则（非 RFC 级但实用性强）：

支持 http://、https://、ftp://、//（协议相对）、www. 开头
允许 Unicode 域名（如 例.com）、IP 地址、端口号（:8080）、路径、查询参数（?a=1&b=2）、锚点（#section）
结尾自动排除常见尾随标点：句号、逗号、括号、引号（但保留在 URL 内部）
示例正则（已转义用于 JS 字符串）：
/(?
（实际使用建议用 RegExp 构造并启用 u 标志提升 Unicode 支持）

用 matchAll() 提取并清洗匹配项

matchAll() 返回迭代器，需展开为数组；每个匹配对象含完整 URL（result[0]）及捕获组（如有）。关键操作：

调用 Array.from(text.matchAll(regex)) 获取全部匹配结果
对每个 result[0] 做标准化：补全协议（如 www. → https://www.）、解码 URI（decodeURI()）、去除首尾空白和非法标点
过滤空值、重复项、明显无效格式（如仅含 // 无后续字符）

示例清洗逻辑：

const cleanUrl = (raw) => {<br>
    let u = raw.trim().replace(/[.,;:!?\)\]"']+$/, '');<br>
    if (u.startsWith('www.')) u = 'https://' + u;<br>
    else if (u.startsWith('//')) u = 'https:' + u;<br>
    return decodeURI(u);<br>
  };

识别上下文来源与链接类型（可选进阶）

仅抓 URL 不够“深度”，可结合正则捕获组或前后文判断链接用途：

在正则中添加命名捕获组，例如：(?<protocol>https?:\/\/)?(?<host>[^\s\/]+)(?<path>\/[^\s]*)?</path></host></protocol>
检查匹配前后的 HTML 标签（如是否在 <a href="..."></a> 中），可配合简单字符串扫描（不依赖 DOM）
对域名做基础分类：github.com → 代码平台，youtube.com → 视频，*.gov.cn → 政府网站，辅助后续分析
注意：避免过度解析——纯文本中无 HTML 结构时，不强行模拟 DOM 树

处理边界情况与性能提醒

长文本（>100KB）或极端正则可能导致栈溢出或卡顿：

限制最大匹配数（如只取前 200 条），防止正则回溯爆炸
对超长 URL 截断显示（但保留原始值），避免影响渲染或日志
中文、emoji、零宽空格等特殊字符需确保正则含 u 标志，否则匹配失败
测试用例应包括：点击 https://例.com/路径?k=?#节、参考 www.test.org:3000/api、镜像 //cdn.bytedance.com/