如何在Python中结合Playwright和Tesseract进行图像验证码识别？-Python教程-PHP中文网

应先定位验证码元素并调用 bounding_box() 获取视口坐标，再用 pillow 裁剪；tesseract 识别前必须转灰度、手动阈值二值化、去噪、放大文字区域；需显式指定 tesseract_cmd 路径、正确设置 lang 和 image mode，并避免临时文件 i/o。

如何在python中结合playwright和tesseract进行图像验证码识别？

直接全页截图再识别，成功率低且慢。关键在定位验证码图片的 bounding_box()，而不是靠固定坐标或XPath硬编码。

常见错误是用 page.screenshot() 截整个页面，结果验证码被缩放、遮挡或带干扰线；正确做法是先定位到验证码 <img> 或 <canvas></canvas> 元素，再调用 element.bounding_box() 获取真实坐标，最后用 Pillow 裁剪：

用 page.query_selector("img[alt*='verify']") 或类似 selector 精准选中元素，避免匹配到 logo 或其他图片
box = element.bounding_box() 返回的是视口坐标（viewport coordinates），需确认页面没滚动——加 page.evaluate("window.scrollTo(0, 0)") 更稳妥
裁剪时用 PIL.Image.open(io.BytesIO(screenshot_bytes)).crop((x, y, x+w, y+h))，注意 y 是上边界，不是 top margin
如果验证码是 canvas 渲染，bounding_box() 可能不准，改用 element.screenshot() 直接截元素图（Playwright 1.40+ 支持）

Tesseract 对纯色背景、高对比度、无噪点的二值图最友好；而网页验证码通常带干扰线、扭曲、低饱和度，不处理基本识别不了。

绕过预处理直接喂图给 pytesseract.image_to_string()，大概率返回空字符串或乱码。核心步骤要按顺序来：

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

转灰度：img.convert("L")，不是 RGB 直接丢进 Tesseract
二值化：用 cv2.threshold() 或 PIL 的 point() + 阈值，别用默认 Otsu（对验证码常过激）；推荐手动试阈值，比如 180（范围 120–220）
去噪：小噪点用 cv2.medianBlur(img, 3)，细干扰线可用形态学闭运算 cv2.morphologyEx(img, cv2.MORPH_CLOSE, kernel)，kernel 大小设 (2,2) 刚好
文字区域太小（如 12px 验证码）要放大 2–3 倍再识别，否则 Tesseract 认为“非文本”直接跳过

不是代码写错，而是环境或参数卡住了。报错像 TesseractNotFoundError 或静默返回空字符串，90% 出在以下几点：

pytesseract.pytesseract.tesseract_cmd 没指向真实可执行文件路径，Windows 下常见是装了 tesseract 但没加进 PATH，或路径含中文/空格——必须显式赋值，例如：pytesseract.pytesseract.tesseract_cmd = r"C:\Program Files\Tesseract-OCR\tesseract.exe"
没指定语言包：验证码多为英文数字，默认 lang="eng" 即可，但若含简单中文字符（如“验证码”字样），得额外下载 chi_sim.traineddata 并放到 tesseract 安装目录的 tessdata 文件夹
传给 image_to_string() 的 PIL 图像 mode 不是 "L" 或 "1"，比如是 "RGBA"，Tesseract 会忽略 alpha 通道导致对比度崩坏——务必先 .convert("L")
用了 config='--psm 6' 却忘了加 --oem 3（默认 LSTM），PSM 6 要求文本横排且单块，验证码若带旋转或粘连，反而不如 --psm 8（单行）稳定

跑一次识别耗时超过 2 秒就该优化了。主要瓶颈不在 Tesseract 本身，而在截图和图像流转环节。

别每次识别都保存临时文件（如 img.save("tmp.png") 再读取），用 io.BytesIO() 在内存中流转，快 3–5 倍
Playwright 的 page.screenshot() 加 type="png" 和 quality=100，避免 JPEG 压缩引入新噪点
并发识别多个验证码时，Tesseract 是 CPU 密集型，别开多进程硬扛；更稳的做法是复用 pytesseract.image_to_string() 单实例，配合 Playwright 的多个 BrowserContext 隔离页面状态
验证码识别失败后，别立刻重试——有些网站会封 IP 或增加难度。加随机延迟（time.sleep(random.uniform(1.5, 3.0))）再刷新页面重来