详解Uvicorn的worker配置

雨浩小哥_5503

雨浩小哥_5503

2026-10-19

330人浏览

原创

uvicorn的--workers仅在cpu密集或同步阻塞场景下有效,设错反降吞吐;常见单进程原因:gunicorn未配uvicorn.workers.uvicornworker、uvicorn与gunicorn同时设workers、混用--reload;数值需依cpu核数、内存/显存、请求节奏综合确定,且startup/shutdown事件各worker独立执行。

详解uvicorn的worker配置

Uvicorn 的 --workers 不是“开越多越快”,设错反而拖垮吞吐——它只在同步阻塞、CPU 密集或 GPU 利用率低时才值得启用,且必须匹配 CPU 核数、内存容量和请求节奏。

为什么加了 --workers 却只看到 1 个进程?

启动后 htop 或 ps aux | grep uvicorn 仍只显示一个主进程?大概率掉进这三个坑:

  • 你在用 gunicorn 做前置,但没配 worker_class="uvicorn.workers.UvicornWorker" —— 缺这个,Gunicorn 默认起的是同步 worker,async def 路由直接报 TypeError: 'coroutine' object is not callable
  • 同时写了 gunicorn ... --workers N 又写了 uvicorn ... --workers M —— Uvicorn 自身的 --workers 在 Gunicorn 下会被忽略,只认 Gunicorn 的配置
  • 命令里混用了 --reload —— 多进程模式下 --reload 会失效(甚至被自动禁用),因为文件监控与 fork 冲突

--workers 数值怎么定?别套公式

所谓 “2×CPU 核数 + 1” 是误导。真实取值取决于三件事,缺一不可:

  • nproc 查出 CPU 核数:4 核机器,--workers 4 是安全起点;超过 8 后吞吐增长通常趋缓
  • 内存/显存总量:每个 worker 是独立 Python 进程,加载一次大模型就占一份显存。RTX 3060(12GB)最多扛住 4 个 worker,再多必 OOM
  • 请求模式:如果流量极不均匀(比如每分钟集中来 100 个大 batch),worker 数宁少勿多,避免空转开销吃掉 CPU

压测时观察两个指标:CPU 利用率长期低于 60% 但 QPS 上不去 → 说明单进程没吃满多核,该加 worker;QPS 反而下降 + 进程频繁重启 → 很可能内存或显存已爆。

多 worker 下哪些东西不能共享?

每个 worker 是独立进程,内存完全隔离。以下写法会出问题:

Uvicorn 0.52.1
Uvicorn 0.52.1

Uvicorn 0.52.1 是 Python ASGI Web 服务器,提供异步应用服务及 WebSocket 支持,常用于 FastAPI、Starlette 等应用的开发和部署。本下载为官方 PyPI 通用 wheel 包,可使用 pip 安装,并由包管理器处理所需依赖。

下载
  • 用全局变量(如 cache = {})存状态 → 每个 worker 各有一份,数据不一致、内存翻倍
  • 依赖 threading.local() 或单例类做上下文 → 进程间不传递,等同于失效
  • 在 @app.on_event("startup") 里加载大模型 → 每个 worker 都加载一遍,显存直接 ×N

正确做法:状态存 Redis / 数据库;模型加载逻辑改用 lazy init 或由主进程预加载后通过共享内存(如 mmap)分发;若必须进程内缓存,用 functools.lru_cache 并控制 maxsize。

和 Gunicorn 配合时,--workers 归谁管?

当用 gunicorn -k uvicorn.workers.UvicornWorker 时,Uvicorn 自身的 --workers 参数被完全忽略。真正生效的是 Gunicorn 的 --workers 和 --worker-class:

gunicorn main:app \
  --workers 4 \
  --worker-class uvicorn.workers.UvicornWorker \
  --bind 0.0.0.0:8000 \
  --timeout 120

此时每个 Gunicorn worker 都是一个完整 Uvicorn 实例,自带 asyncio 事件循环。注意:Gunicorn 的 --workers 值同样受 CPU/内存约束,且不要盲目设高 —— 每个 Uvicorn worker 本身已是异步并发体,开太多反而增加进程调度开销。

最易被忽略的一点:多 worker 模式下,startup 和 shutdown 事件每个进程各执行一次。如果你在 startup 里初始化数据库连接池、加载模型或连 Kafka,得确认这些操作是否支持多实例并发执行,否则可能触发连接冲突或重复注册。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

uvicorn

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API

Python FastAPI 异步开发利用 async/await 关键字,通过定义异步视图函数、使用异步数据库库 (如 databases)、异步 HTTP 客户端 (如 httpx),并结合后台任务队列(如 Celery)和异步依赖项,实现高效的 I/O 密集型 API,显著提升吞吐量和响应速度,尤其适用于处理数据库查询、网络请求等耗时操作,无需阻塞主线程。

2025.12.22

119

5

Python 微服务架构与 FastAPI 框架
Python 微服务架构与 FastAPI 框架

本专题系统讲解 Python 微服务架构设计与 FastAPI 框架应用,涵盖 FastAPI 的快速开发、路由与依赖注入、数据模型验证、API 文档自动生成、OAuth2 与 JWT 身份验证、异步支持、部署与扩展等。通过实际案例,帮助学习者掌握 使用 FastAPI 构建高效、可扩展的微服务应用,提高服务响应速度与系统可维护性。

2026.02.06

554

18

Python Web框架FastAPI 全栈开发教程合集
Python Web框架FastAPI 全栈开发教程合集

以 FastAPI 为核心,讲解现代 Python Web API 的高效开发方式,涵盖路由定义与路径参数/查询参数/请求体绑定、Pydantic 模型的数据校验与序列化、依赖注入(Depends)系统的分层设计、中间件与 CORS 配置、OAuth2 + JWT 认证流程、后台任务(BackgroundTasks)、WebSocket 实时通信、SQLAlchemy 异步 ORM 集成、自动生成 OpenAPI/Swagger 交互文

2026.05.09

596

23

Python FastAPI异步微服务与高性能接口设计
Python FastAPI异步微服务与高性能接口设计

本专题聚焦 Python FastAPI 框架在高性能接口与微服务开发中的应用,讲解异步请求处理、依赖注入机制、路由设计、数据库异步操作以及接口性能优化策略。结合实际项目案例,帮助开发者构建高并发、低延迟的现代化后端服务架构。

2026.06.16

499

12

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

2026.10.16

60

10

OpenJDK怎么配置Java开发环境
OpenJDK怎么配置Java开发环境

怎样用OpenJDK搭建开发环境?本专题介绍版本选择、下载安装、环境变量配置和编译运行验证,帮助你理清JDK的作用及基本配置流程,并通过简单程序检查环境是否可用,为后续项目开发做好准备。

2026.10.16

20

10

OpenJDK怎么部署Java应用
OpenJDK怎么部署Java应用

Java项目开发完成后,怎样部署到目标环境并正常运行?本专题介绍OpenJDK应用部署流程,涵盖运行环境准备、版本兼容检查、应用打包、启动参数配置和日志查看,帮助你理清部署前后的操作顺序,减少环境差异造成的运行问题。

2026.10.16

20

10

Revel框架模板渲染与表单验证
Revel框架模板渲染与表单验证

本专题围绕Revel框架视图层开发,介绍模板语法、变量输出、布局复用、表单提交、参数绑定与验证规则,帮助开发者完成安全规范的页面交互。

2026.10.16

20

15

Revel框架MVC路由与控制器
Revel框架MVC路由与控制器

本专题聚焦Revel框架MVC核心机制,讲解路由定义、控制器Action、参数绑定、请求响应和反向路由,并结合常见场景梳理接口请求处理流程。

2026.10.16

20

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方部署指南
Uvicorn官方部署指南

共0课时 | 0人学习

Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习