如何使用Python selectors模块在高并发场景下管理Socket连接?

冬强酱_3935

冬强酱_3935

2026-07-10

837人浏览

原创

Python应优先使用selectors而非select,因其自动适配平台最优机制(Linux用epoll、macOS用kqueue、Windows用IOCP),规避select的1024 fd限制、全量拷贝开销及跨平台兼容问题。

如何使用python selectors模块在高并发场景下管理socket连接?

为什么不能直接用 select() 而要选 selectors?

因为 select() 在 Linux 上默认有 1024 文件描述符限制,且每次调用都要全量拷贝 fd_set 到内核,连接数一过千就明显拖慢;selectors 是 Python 对底层 epoll(Linux)、kqueue(macOS)、IOCP(Windows)的统一封装,自动选最优机制,避免手动判断平台和 syscall。

常见错误是直接用 select.select() 写千级连接服务,结果压测时 CPU 暴涨、延迟抖动严重——这不是代码逻辑错,是机制选错了。

  • selectors.DefaultSelector() 会按系统自动挑 EpollSelector 或 KqueueSelector,不用硬编码
  • 别在循环里反复创建新 selector 实例,一个实例复用到底
  • 注册 socket 时必须设为非阻塞模式:sock.setblocking(False),否则 select() 可能卡住

如何注册/注销 socket 并避免 KeyError 或 FileNotFoundError?

注册后没及时注销、或 socket 已关闭但 selector 还在监听,就会触发 KeyError(查不到 key)或 OSError: [Errno 9] Bad file descriptor。根本原因是 socket 生命周期和 selector 管理没对齐。

正确做法是:所有 socket 关闭前,先调 selector.unregister(sock);如果不确定是否已注册,用 selector.get_key(sock) 检查返回值是否为 None。

  • 注册时用 selector.register(sock, selectors.EVENT_READ | selectors.EVENT_WRITE, data=...),data 建议传入自定义对象(比如含 addr、buffer 的连接上下文),别传裸字典
  • 注销前加 try/except:即使 socket 已 close,unregister() 仍可能抛 KeyError,捕获后忽略即可
  • 不要在回调函数里直接 sock.close() 后立刻 unregister() —— 有些 OS(如 macOS)要求 unregister 必须在 close 之前

selector.select(timeout) 返回空列表意味着什么?

不是出错了,而是当前没有就绪事件。但很多人误以为“没返回就是卡死”,于是加日志、重启循环、甚至重连 socket,反而引发雪崩。

Biopython
Biopython

全面的分子生物学工具集。适用于序列操作、文件解析(FASTA/GenBank/PDB)、系统发育分析,以及通过 Bio.Entrez 以编程方式访问 NCBI/

下载

真实场景中,select() 返回空很常见:客户端发完数据后静默、心跳间隔未到、网络暂时无新包。只要 timeout 设合理(比如 1 秒),空返回就是正常等待信号。

  • timeout 设 None 会永久阻塞,生产环境禁止这样用
  • 设为 0 是轮询模式,CPU 占用飙升,仅调试时临时启用
  • 真正要警惕的是连续多次(比如 5 次)空返回且无任何业务逻辑触发——说明可能漏了 register,或 socket 被意外关闭未通知 selector

如何安全地读写缓冲区并处理 BlockingIOError?

非阻塞 socket 调 recv() 或 send() 时,内核缓冲区空或满就会抛 BlockingIOError,这不是异常,是预期行为。强行 try/except 吞掉它却不做状态管理,会导致数据滞留或连接假死。

正确模式是:读取时检查 recv() 返回值是否为 0(对端关闭),写入时若 send() 返回字节数小于待发长度,就把剩余数据存进连接对象的 out_buffer,下次 EVENT_WRITE 就绪时再续发。

  • 永远用 recv(65536) 这类固定大小,别用 recv(-1) —— 非阻塞下会直接抛错
  • send() 成功返回值可能小于 buffer 长度,必须用 memoryview(buf)[sent:] 截取未发部分,别用字符串切片(会复制)
  • 收到 recv() 返回 0 时,必须立刻 unregister() + close(),否则该 socket 会持续触发 EVENT_READ(边缘触发模式下尤其危险)

实际高并发下最易被忽略的点:selector 本身不管理连接超时、心跳、粘包拆包——这些得靠上层定时器和协议解析器配合。拿 selectors 当万能胶水,却不在外层做连接生命周期控制,压测时十有八九会内存泄漏或 fd 耗尽。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1931

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

5484

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1889

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

33497

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3927

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3947

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1283

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

636

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

3063

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程