如何在Python中使用Camoufox等防检测浏览器进行数据抓取?

夜枫小哥_8910

夜枫小哥_8910

2026-10-09

202人浏览

原创

camoufox默认读取settings/camoufox.cfg配置指纹,需显式设置screen_width、screen_height等字段并设"automation": false,修改后重启实例生效;不支持requests复用cf_clearance,须通过cdp获取实时cookie。

如何在python中使用camoufox等防检测浏览器进行数据抓取?

Camoufox 的配置文件在哪,怎么改指纹?

Camoufox 的 Python 集成默认读取 settings/camoufox.cfg,这是一个 JSON 文件,不是代码里硬编码的。你不需要动源码,直接编辑这个文件就能控制浏览器指纹行为。

常见误操作是手动写死 User-Agent 或只改几个字段——Camoufox 会自动补全未设置的字段(比如 webgl_vendor、audio_hash、timezone),但前提是这些字段在 cfg 中显式设为 null 或留空;如果完全删掉某项,它可能 fallback 到默认值,反而暴露一致性。

  • 必须显式设置 "screen_width" 和 "screen_height",否则会用固定值(易被识别)
  • "platform" 建议设为 "Win32" 或 "Linux x86_64",避免出现 "MacIntel" 却配 Windows 分辨率这种矛盾组合
  • 修改后重启 Camoufox 实例,不 reload 配置文件——它只在启动时读一次

requests 能不能直接复用 Camoufox 的 cf_clearance?

不能。Camoufox 是完整浏览器进程,cf_clearance 是它内部 JS 执行后注入的 cookie,不会自动导出到 requests 的 session 里。强行从 DevTools 复制 cookie 手动塞进 requests,大概率 5–10 分钟就失效,因为 Cloudflare 会校验 TLS 指纹、TCP 栈行为、JS 执行上下文三者是否匹配。

真正可行的做法是让 Camoufox 自动完成整个流程,再把页面 HTML 或 API 响应结果传回 Python 主进程。

  • 用 subprocess 启动 Camoufox 并加 --remote-debugging-port=9222
  • 用 playwright 或 undetected-chromedriver3 连接调试端口(注意:Camoufox 不支持标准 CDP 全功能,Page.navigate 和 Network.getResponseBody 可用,但 Emulation.setDeviceMetricsOverride 会失败)
  • 不要依赖 driver.get_cookies()——它返回的是过期或无效的 cf_clearance,得用 driver.execute_cdp_cmd("Network.getCookies", {"urls": ["https://target.com"]}) 拿实时值

为什么用 Camoufox 还是被 Cloudflare 拦在“Checking your browser”页?

最常见原因是没关掉自动化检测特征。Camoufox 默认启用 automation: true,这会让 navigator.webdriver 返回 true,而 Cloudflare 现在对这个字段做硬性拦截——哪怕你 canvas/webgl 指纹再真实也没用。

testing-python
testing-python

使用pytest编写和评估有效的Python测试。适用于编写测试、审查测试代码、调试测试失败或提高测试覆盖率。

下载

必须在 camoufox.cfg 里加这一行:

{"automation": false}

另外两个高发点:

  • 启动时没禁用扩展:Camoufox 加载了默认扩展(如 uBlock Origin),某些扩展会注入额外 JS,改变 performance.memory 或触发异常事件监听器
  • 没等 JS 完全执行完就取 HTML:用 driver.page_source 前,必须等 document.readyState === "complete" 且 window.cfClearance 存在,否则拿到的是跳转页源码
  • 同一台机器反复启停 Camoufox 实例,localStorage 里的设备 ID 没清,导致 fingerprint hash 稳定不变——Cloudflare 认为这是脚本行为

和 Playwright / Selenium 比,Camoufox 的实际优势在哪?

不是“更难被识别”,而是“更可控的指纹扰动粒度”。Playwright 的 chromium.launch(..., args=["--disable-blink-features=AutomationControlled"]) 只能关掉 navigator.webdriver,但 Canvas、WebGL、Audio 等指纹仍由 Chromium 内核决定,你没法指定显卡驱动字符串或音频采样偏差值。

Camoufox 把这些都做成可配置项,比如:

  • "canvas_noise": 0.0023 —— 控制 canvas getImageData() 的随机噪声强度
  • "webgl_renderer": "ANGLE (AMD, AMD Radeon RX 6700 XT Direct3D11 vs_5_0 ps_5_0)" —— 直接伪造 WebGL 渲染器字符串
  • "audio_latency": 12.7 —— 模拟不同声卡的音频处理延迟

但代价是启动慢(平均比 Playwright 慢 1.8 秒)、内存占用高(单实例常驻 400MB+)、不支持 headless 模式(必须开 GUI 窗口或用 Xvfb)。如果你只是爬基础级 Cloudflare(5秒盾),用 Playwright + 正确参数就够了;只有遇到进阶级行为检测(比如鼠标轨迹采样、Canvas 点击热区分析)时,才值得上 Camoufox。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python 浏览器

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1691

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4244

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1689

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

24757

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3027

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3047

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1163

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2363

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程