如何安全提取 HTML 中 script 标签的 src 属性值-Python教程-PHP中文网

如何安全提取 HTML 中 script 标签的 src 属性值

本文详解为何正则表达式在解析 HTML 时容易误匹配、截断或越界，推荐使用标准 HTML 解析器（如 html.parser）替代正则，避免因标签嵌套、属性顺序、转义字符或长文本干扰导致的不可靠提取。

本文详解为何正则表达式在解析 html 时容易误匹配、截断或越界，推荐使用标准 html 解析器（如 `html.parser`）替代正则，避免因标签嵌套、属性顺序、转义字符或长文本干扰导致的不可靠提取。

在网页爬虫开发中，一个常见误区是用正则表达式（re 模块）直接匹配 HTML 片段——例如提取 <script src="..."> 中的 JS 地址。但 HTML 是<strong>嵌套、非正则语言，其结构受属性顺序、引号类型（单/双）、空格、换行、HTML 实体（如 &）、甚至注释和内联脚本内容影响。你遇到的问题正是典型表现： </script>

javascriptmatches = re.findall("src=\"(https?://.*?\.js)\??.*?\"", sitemap)

该正则存在多重缺陷：

.*? 是贪婪回溯型匹配，在复杂 HTML 中极易跨标签捕获（如把后续的 style="..." 或 id="search" 误纳入匹配范围）；
"??.*?" 中的 ?? 语法错误（应为 ?），且未限定匹配边界，导致匹配延伸至远超 src 属性的位置；
忽略了 src 可能出现在单引号 'src=\'...\'' 或无引号 src=example.js 的合法 HTML 写法；
更严重的是：当目标 .js URL 被长参数（如 YouTube 登录跳转链）拉长，正则会“穿透”闭合引号，捕获到后续标签内容（如 style="display: none">

✅ 正确做法：使用专为 HTML 设计的解析器。Python 标准库 html.parser 安全、轻量、无需额外依赖，能准确识别标签结构与属性：

html-deploy

使用 htmlcode.fun 将 HTML 内容或文件部署到网页，适用于用户要求“部署到网页”“托管此 HTML”“生成此前端...的实时链接”等场景。

下载

from html.parser import HTMLParser
import requests

class ScriptSrcExtractor(HTMLParser):
    def __init__(self):
        super().__init__()
        self.script_sources = []

    def handle_starttag(self, tag, attrs):
        if tag == "script":
            # 遍历所有属性，查找 src 键（兼容双引号、单引号、无引号）
            for attr_name, attr_value in attrs:
                if attr_name == "src" and attr_value:
                    self.script_sources.append(attr_value)

# 使用示例
response = requests.get("https://www.youtube.com", timeout=10)
response.raise_for_status()

parser = ScriptSrcExtractor()
parser.feed(response.text)
print("成功提取的 script src 列表：")
for url in parser.script_sources:
    print(f"  • {url}")

? 关键优势说明：

语义准确：只在 <script> 开始标签内解析 src 属性，完全规避跨标签风险；</script>
容错性强：自动处理 src="a.js"、src='b.js'、src=c.js 等 HTML 合法变体；
无回溯陷阱：不依赖正则引擎的模糊匹配，杜绝因长文本导致的性能下降或内存溢出；
可扩展：后续可轻松增加对 type="module"、integrity 校验等现代属性的支持。

⚠️ 注意事项：

若需处理 JavaScript 动态注入的 script（如 document.createElement('script')），html.parser 无法捕获——此时应结合 Selenium 或 Playwright 渲染后 DOM；
对于极简场景（如已知格式严格的静态 HTML），可改用 BeautifulSoup（需安装 bs4）获得更简洁 API，但 html.parser 已足够应对绝大多数服务端返回的原始 HTML；
始终添加 response.raise_for_status() 和超时控制，避免网络异常中断流程。

总结：永远不要用正则解析 HTML。这不是性能或习惯问题，而是根本性设计 mismatch。用正确的工具（HTML 解析器）处理 HTML，才能保证提取结果的准确性、健壮性与可维护性。