Python爬虫验证码识别慢怎么办_多线程模型与Ddddocr异步调用

雨明姑娘_4411

雨明姑娘_4411

2026-04-25

1016人浏览

原创

识别慢的根源在于同步阻塞调用,而非ddddocr本身性能差;应解耦图像获取与ocr计算,复用ocr实例并用多线程池并行处理。

python爬虫验证码识别慢怎么办_多线程模型与ddddocr异步调用

识别慢不是因为 ddddocr 本身慢,而是你把它塞进了同步阻塞流程里——比如在 Selenium 循环里逐个截图、逐个调用 ocr.classification(),全程单线程卡着等。真想提速,得拆开「图像获取」和「OCR计算」两个阶段,让它们并行跑起来。

为什么 ddddocr 调用会拖慢整个爬虫

ddddocr 的 classification() 方法是纯 CPU 计算,不涉及 IO,但它默认是同步阻塞的。如果你在主线程里连续调用 10 次,就是 10 次串行计算,中间没法穿插网络请求或截图操作。更糟的是,很多人把 screenshot_as_png 和 classification() 写在同一层 for 循环里,导致:截图 → 等 OCR → 截图 → 等 OCR……完全没发挥出多核能力。

常见错误现象:time.time() 测出来单次识别要 300–800ms,10 张图就耗掉 5 秒以上,而实际网络请求可能总共才 2 秒。

  • 别在 Selenium 主线程里直接调用 ocr.classification(),尤其别在 for url in urls: 循环体内反复 new 一个 DdddOcr()
  • DdddOcr() 实例初始化有开销,应复用,不要每次识别都重造
  • 避免把图像读取(Image.open() 或 bytes 解析)和 OCR 放进同一个同步函数里打包执行

用多线程池预加载 + 复用 ocr 实例

核心思路:把「截图获取」和「OCR 识别」解耦,用 concurrent.futures.ThreadPoolExecutor 管理识别任务,主线程只管调度和截图,识别全丢给工作线程。

实操建议:

  • 全局只初始化一次 ocr = DdddOcr(),传给线程池的 worker 函数,别每个线程都 new 一个
  • 截图后立刻转成 bytes(如 img_bytes = driver.find_element(...).screenshot_as_png),不落地存文件,减少 IO 延迟
  • 提交任务时用 executor.submit(ocr.classification, img_bytes),返回 Future 对象,主线程可继续发下一个截图请求
  • 批量处理时,用 list(executor.map(...)) 更简洁,但注意它会阻塞等待全部完成;若需流式处理,改用 as_completed()

示例片段:

from concurrent.futures import ThreadPoolExecutor
from ddddocr import DdddOcr
<p>ocr = DdddOcr()  # 复用实例</p><div class="aritcle_card flexRow artxards">
											<div class="artcardd flexRow">
												<a class="aritcle_card_img" rel="nofollow" href="/xiazai/skill4769" title="Python Testing"><img
														src="https://img.php.cn/upload/skill/000/000/081/179021887894914.jpg" alt="Python Testing" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
												<div class="aritcle_card_info flexColumn">
													<a rel="nofollow" href="/xiazai/skill4769" title="Python Testing" class="overflowclass">Python Testing</a>
													<p class="overflowclass">Python 测试速查:运行 pytest、使用 mock/patch、参数化、fixtures、异步、覆盖率测试。</p>
												</div>
												<a rel="nofollow" href="/xiazai/skill4769" title="Python Testing" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span>
												</a>
											</div>
										</div><p>def recognize_captcha(img_bytes):
return ocr.classification(img_bytes)</p><p>with ThreadPoolExecutor(max_workers=4) as executor:
futures = []
for i in range(5):
img_bytes = driver.find<em>element(By.ID, f"code</em>{i}").screenshot_as_png
futures.append(executor.submit(recognize_captcha, img_bytes))</p><pre class="brush:python;toolbar:false;">results = [f.result() for f in futures]  # 按提交顺序收结果

异步调用 ddddocr?目前不现实

ddddocr 底层是 C++ 编译的模型推理,没有暴露异步接口,也没有 async def classification() 版本。强行套 asyncio.to_thread() 包一层,只是把线程池调用“伪装”成 async,并不能提升吞吐——反而因事件循环调度增加微小开销。

所以别折腾 await ocr.classification() 这种写法。真正值得异步化的是:网络请求(aiohttp)、浏览器控制(playwright async)、代理 IP 切换等 IO 密集环节。OCR 识别就老实用多线程池,它本来就是 CPU-bound 场景的最佳匹配。

容易踩的坑:

  • 设太多 max_workers(比如 >8),CPU 频繁上下文切换,识别总耗时反而上升
  • 在 Jupyter 或某些 IDE 里运行多线程时没加 if __name__ == "__main__":,导致子进程反复 import 全局变量出错
  • 忽略图像质量:模糊、过小(ddddocr 也白搭,预处理比换并发模型更重要

识别前必须做的三件事(比并发还关键)

再快的并发,喂进去的是噪声图,结果也是错的。很多“识别慢”其实是反复重试导致的——因为第一次识别错了,又去截图重来。

务必在调用 ocr.classification() 前做:

  • 确认截图区域干净:用 element.location_once_scrolled_into_view 确保元素可见,避开遮挡或加载中的空白图
  • 检查图片格式:if len(img_bytes) 直接跳过,很可能是返回了 HTML 错误页而非图片
  • 简单预处理:对灰度图做二值化(cv2.threshold(..., cv2.THRESH_BINARY | cv2.THRESH_OTSU))能稳定提升 15–30% 正确率,尤其对抗浅色干扰线

复杂点在于:验证码类型决定你能不能省掉人工干预。滑块、点选、文字+干扰线混合的图,ddddocr 效果有限,这时候并发再快也没用——该切第三方打码平台就得切,别硬刚。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python 爬虫

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1631

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

3944

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1629

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

22737

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2787

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2827

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1123

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2203

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程