HTML结构层面的防爬虫干扰与动态内容混淆技术底层实现

大涛君_7881

大涛君_7881

2026-06-28

408人浏览

原创

HTML嵌套与动态class、伪元素拼接、注释混淆、JS动态渲染等反爬手段需协同服务端校验:关键字段应多层随机嵌套+短哈希class、伪元素分段混入零宽字符、删lxml注释、耦合token的fetch解密+动态函数名,且服务端必须校验nonce与时间戳。

html结构层面的防爬虫干扰与动态内容混淆技术底层实现

HTML标签嵌套与随机class名如何干扰XPath和CSS选择器

爬虫依赖稳定的选择器路径提取数据,而人为插入的冗余嵌套和动态class会直接破坏这种稳定性。比如把一个价格¥199改成

¥199

,XPath //span/text() 就会失效——它匹配到的是空字符串或乱序碎片。

实操建议:

  • 服务端模板渲染时,对关键字段(如价格、销量)的父容器随机生成 3–5 层无语义 div 或 span,class 名用短哈希(如 h3f9、k2m8)而非可预测序列
  • 避免使用固定 class 前缀(如 price-*),否则正则 class="price-\w+" 仍能命中
  • CSS 里不写具体 class 规则,改用属性选择器(如 [data-v="p"])配合 JS 动态注入 style,防止爬虫静态扫描 class 名
  • 注意:过度嵌套会拖慢首屏渲染,建议只对核心字段做,且层级不超过 6 层

伪元素拼接文本为什么会被getComputedStyle()绕过

很多人以为用 ::before 和 ::after 拼出“¥”“199”就能防爬,但只要执行 window.getComputedStyle(el, '::before').content,内容就原形毕露。这不是漏洞,而是浏览器标准行为——伪元素内容本就属于计算样式的一部分。

实操建议:

  • 别单独靠伪元素隐藏完整字段;若必须用,至少拆成 3 段以上(如单位、数字、后缀),分别由不同伪元素生成,并混入不可见 Unicode 字符(如 \u200B 零宽空格)干扰字符串拼接逻辑
  • 用 JS 动态设置 el.style.setProperty('--price-unit', '¥'),再在 CSS 中写 content: var(--price-unit),这样 getComputedStyle 只能拿到变量名,拿不到值——但前提是变量由服务端注入,不能硬编码在 JS 文件里
  • 测试时用 Puppeteer 执行 page.evaluate(() => getComputedStyle(document.querySelector('.price'), '::before').content) 验证是否暴露

HTML注释与空格混淆对BeautifulSoup解析的实际影响

在 HTML 中大量插入随机注释(<!-- a7f2 -->)、换行、制表符,对 BeautifulSoup(html, 'html.parser') 几乎无感——它默认忽略注释和空白。但换成 lxml 解析器时,注释节点会作为 Comment 对象保留在树中,导致 soup.find_all(text=True) 返回一堆空字符串和注释内容,让文本提取逻辑崩溃。

Html2md
Html2md

使用 Readability + Turndown 将 HTML 页面转换为干净的、Agent 友好的 Markdown。去除导航栏、广告、页脚、Cookie 横幅、社交按钮等干扰元素。支持 URL...

下载

实操建议:

  • 如果后端用 lxml 渲染模板,可在输出前用正则删掉注释:re.sub(r'<!--.*?-->', '', html, flags=re.DOTALL),但保留换行和缩进——这反而会让 XPath 定位更不稳定
  • 对关键字段包裹的标签内插入零宽字符(如 ​),BeautifulSoup 会将其当作普通文本节点,但人类不可见,strip() 也清不掉,需额外清洗
  • 避免在 <script></script> 或 <style></style> 标签里塞混淆注释——这些标签内容本就不被 BeautifulSoup 当作结构处理,纯属浪费带宽

JS动态渲染内容如何避免被Puppeteer直接提取

Puppeteer 默认等待 networkidle0,但如果你用 setTimeout 延迟 2s 渲染价格,它照样等得到。真正难搞的是把 DOM 更新和网络请求耦合起来:比如先发一个带 token 的 fetch,成功后再用返回的加密字符串解密并插入真实价格——而这个 token 是从上个 API 响应头的 X-Temp-Key 里读的,且 30 秒过期。

实操建议:

  • 不要用 document.write() 或简单 innerHTML = ...,改用 document.createElement + appendChild 分步构建,让 MutationObserver 难以一次性捕获完整文本
  • 价格字段初始状态设为 aria-hidden="true",解密完成后才移除,防止 Puppeteer 的 page.content() 提前抓到占位符
  • 服务端对每个用户 session 返回不同的 JS 加密函数名(如 window._d3k9() 而非固定 decrypt()),前端代码里不写死函数体,只通过 eval 执行服务端下发的加密片段——当然,eval 有安全风险,仅限内网或强鉴权场景

真实对抗中,最易被忽略的不是技术多复杂,而是服务端是否真把校验逻辑下沉——比如价格解密函数依赖当前时间戳和服务端 nonce,而这个 nonce 每次请求都变,且验证失败直接返回 403。前端再花哨的混淆,挡不住一个直接调用接口的 curl。

前端入门到VUE实战笔记:立即使用
在学习笔记中,你将探索 前端 的入门与实战技巧!

相关文章

HTML速学教程(入门课程)
HTML速学教程(入门课程)

HTML怎么学习?HTML怎么入门?HTML在哪学?HTML怎么学才快?不用担心,这里为大家提供了HTML速学教程(入门课程),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

html 爬虫

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
html版权符号
html版权符号

html版权符号是“©”,可以在html源文件中直接输入或者从word中复制粘贴过来,php中文网还为大家带来html的相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

2023.06.14

6615

7

html在线编辑器
html在线编辑器

html在线编辑器是用于在线编辑的工具,编辑的内容是基于HTML的文档。它经常被应用于留言板留言、论坛发贴、Blog编写日志或等需要用户输入普通HTML的地方,是Web应用的常用模块之一。php中文网为大家带来了html在线编辑器的相关教程、以及相关文章等内容,供大家免费下载使用。

2023.06.21

3672

4

html网页制作
html网页制作

html网页制作是指使用超文本标记语言来设计和创建网页的过程,html是一种标记语言,它使用标记来描述文档结构和语义,并定义了网页中的各种元素和内容的呈现方式。本专题为大家提供html网页制作的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.31

3350

5

html空格
html空格

html空格是一种用于在网页中添加间隔和对齐文本的特殊字符,被用于在网页中插入额外的空间,以改变元素之间的排列和对齐方式。本专题为大家提供html空格的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.01

3379

5

html是什么
html是什么

HTML是一种标准标记语言,用于创建和呈现网页的结构和内容,是互联网发展的基石,为网页开发提供了丰富的功能和灵活性。本专题为大家提供html相关的各种文章、以及下载和课程。

2023.08.11

5019

6

html字体大小怎么设置
html字体大小怎么设置

在网页设计中,字体大小的选择是至关重要的。合理的字体大小不仅可以提升网页的可读性,还能够影响用户对网页整体布局的感知。php中文网将介绍一些常用的方法和技巧,帮助您在HTML中设置合适的字体大小。

2023.08.11

3321

3

html转txt
html转txt

html转txt的方法有使用文本编辑器、使用在线转换工具和使用Python编程。本专题为大家提供html转txt相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.31

3129

3

html文本框代码怎么写
html文本框代码怎么写

html文本框代码:1、单行文本框【<input type="text" style="height:..;width:..;" />】;2、多行文本框【textarea style=";height:;"></textare】。

2023.09.01

2728

6

HTML嵌入CSS样式的方法
HTML嵌入CSS样式的方法

HTML嵌入CSS样式的方法有内联样式、内部样式表和外部样式表。本专题为大家提供CSS样式相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.20

2828

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
GDB 17.2 官方文档集合
GDB 17.2 官方文档集合

共0课时 | 0人学习

Bootstrap 入门安装配置
Bootstrap 入门安装配置

共0课时 | 0人学习

38+ PhpStorm 提示和技巧
38+ PhpStorm 提示和技巧

共1课时 | 228人学习