怎么在Python爬虫中绕过常见的前端JS混淆加密算法?

云萱同学_8571

云萱同学_8571

2026-10-19

195人浏览

原创

js混淆加密需还原执行环境,常用execjs调用node.js运行纯逻辑js,依赖浏览器api时用playwright等无头浏览器;关键注意时间戳精度、编码一致性和随机因子来源。

怎么在python爬虫中绕过常见的前端js混淆加密算法?

JS混淆加密通常不是“绕过”,而是还原执行环境

直接用 requests 拿不到真实数据,是因为目标网站把关键参数(比如 sign、token、timestamp)通过 JS 动态生成,且代码被混淆(如变量名全为 _0xabc123、控制流扁平化、字符串数组+偏移解密)。你没法“跳过”它,只能让 Python 能跑通那段 JS 逻辑。

  • 最常用且稳定的方式是用 execjs 或 PyExecJS 调用本地 Node.js 执行混淆后的 JS 片段(前提是 JS 不依赖 DOM 或浏览器 API)
  • 如果 JS 里用了 document、localStorage、WebSocket 等前端专属对象,就得上无头浏览器,比如 playwright 或 selenium 启动真实 Chromium 实例
  • 别指望正则硬解混淆字符串数组——不同站点的混淆策略差异大,今天写的正则,明天更新就失效

用 execjs 运行简单混淆 JS 的实操要点

适用于:混淆只涉及基础运算、字符串拼接、AES/MD5/HMAC 等纯函数式加密,无浏览器环境依赖。

  • 先确认 JS 代码能独立运行:把混淆脚本复制出来,在 Node.js 命令行里执行 node -e "your_js_code",看是否报错(常见错如 ReferenceError: window is not defined)
  • 安装依赖:npm install crypto-js(如果 JS 用了 CryptoJS),再用 pip install PyExecJS
  • Python 中调用时,注意传参方式:混淆 JS 通常导出一个函数,比如 function genSign(a, b) { ... },需用 ctx.eval("genSign('foo', 'bar')"),不能直接 ctx.call 除非函数已挂到全局
  • 避免每次请求都新建上下文——execjs.compile() 开销不小,建议复用 ctx 实例,或用 lru_cache 缓存编译结果

当 JS 依赖浏览器行为时,playwright 比 selenium 更轻量可靠

比如需要模拟鼠标滚动触发懒加载、读取 navigator.plugins、执行 eval 动态 script 标签内容等场景,playwright 启动快、API 更简洁,且默认禁用图片/字体加载可提速。

361SCAN security check your skill python scripts
361SCAN security check your skill python scripts

扫描并分析已安装技能,用于查看指定技能目录的名称、描述和详情,或列出所有已安装的技能。

下载
  • 不要用 page.content() 获取整个 HTML 再解析——混淆逻辑可能在 page.evaluate() 里动态计算,直接在页面上下文中执行更安全
  • 示例:获取混淆后生成的 sign 值:
    sign = await page.evaluate('''() => {
      // 把混淆 JS 的核心逻辑粘贴进来,或调用已有函数
      return window.genSign(Date.now(), "api_path");
    }''')
  • 记得设置 user_agent 和 viewport,部分混淆检测会查 navigator.webdriver 或屏幕尺寸,playwright 默认为 True,需手动设 bypass_csp=True 和 user_agent 伪装

混淆代码逆向的三个容易被忽略的细节

多数人卡在“JS 跑通了但 sign 总错”,往往不是算法问题,而是环境细节没对齐。

  • 时间戳精度:混淆函数可能用 Date.now(),但服务端校验的是秒级或毫秒级,Python 传过去得统一用 int(time.time() * 1000),别漏乘 1000
  • 字符编码:JS 的 encodeURIComponent 对空格编码为 %20,而 Python 的 urllib.parse.quote 默认是 +,要加参数 safe='' 才一致
  • 随机因子来源:有些混淆会读 Math.random()、performance.now() 甚至 new Date().getMilliseconds(),这些值在服务端无法复现,必须从浏览器上下文里实时取,不能在 Python 里自己生成

混淆逻辑越深,越要分清哪些该在浏览器里做、哪些可抽离到 Python。强行全搬回 Python 解密,短期省事,长期维护成本高;完全依赖无头浏览器,又慢又重。真正稳定的方案,往往是两者混合:浏览器只负责拿“活”的输入(时间、随机数、DOM 状态),核心算法仍放在 Python 里可控执行。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关专题

更多
python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2523

5

前端如何实现即时通讯
前端如何实现即时通讯

实现即时通讯的方法有WebSocket、Long Polling、Server-Sent Events、WebRTC等等。详细介绍:1、WebSocket,它可以在客户端和服务器之间建立持久连接,实现实时的双向通信,前端可以使用 WebSocket API来创建WebSocket连接,并通过发送和接收消息来实现即时通讯;2、Long Polling,是一种模拟实时通信的技术等等。

2023.10.09

5463

6

前端和后端的区别
前端和后端的区别

前端关注的是用户界面的设计和交互,而后端则注重数据处理和逻辑控制。想了解更多前端后端的相关内容,可以阅读本专题下面的文章。

2024.03.19

6490

13

php和前端的关联介绍
php和前端的关联介绍

php既可以作为前端语言,也可以作为后端语言。想了解更多php和前端的相关内容,可以阅读本专题下面的文章。

2024.03.22

6118

10

前端外包工作内容有哪些
前端外包工作内容有哪些

前端外包工作内容包括:1. 网站和应用程序开发;2. 用户界面和交互设计;3. 用户体验优化;4. 设计和视觉开发;5. 跨浏览器兼容性;6. 性能优化;7. 维护和更新;8. 项目管理和沟通。想了解更多前端的相关内容,可以阅读本专题下面的文章。

2024.05.22

863

5

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1751

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4544

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1729

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

26817

23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习