FileHandler拖慢高并发服务因其同步阻塞和全局锁双重瓶颈：每次写入触发磁盘I/O且争抢_logging内部锁，导致延迟飙升、吞吐骤降；应改用QueueHandler+QueueListener异步方案，并精简日志格式与采样控制。
为什么FileHandler会拖慢高并发服务
默认的 FileHandler 是同步阻塞的：每次 logger.info() 都触发一次 write() 系统调用，磁盘慢或日志量大时，主线程直接卡住。10线程并发写入时，平均延迟可从 0.2ms 涨到 1.8ms，吞吐量掉到原来的 1/4。
更隐蔽的问题是全局锁 —— logging 内部用 _handlers 锁保证线程安全，高并发下线程争抢锁本身就成了瓶颈，不是纯 I/O 问题，而是“锁+I/O”双重阻塞。
- 不要在循环里无条件打
DEBUG日志，尤其带变量拼接的 - 避免在 Web 请求路径中直接用
FileHandler记录每条请求 -
RotatingFileHandler轮转时会 rename 文件，若没设delay=True，首次写入就 open 文件，可能触发权限或锁竞争
用QueueHandler + QueueListener实现零阻塞
这是标准库里最稳妥的异步方案，不依赖第三方包，且能复用原有 Formatter 和 RotatingFileHandler 配置。
核心是把日志记录（LogRecord）放进队列，由独立监听线程消费并写入磁盘：
import logging
from logging.handlers import QueueHandler, QueueListener
import queue
<p>log_queue = queue.Queue(-1) # 无限制队列，防丢日志（但需注意内存）
queue_handler = QueueHandler(log_queue)
logging.getLogger().addHandler(queue_handler)</p><p>file_handler = logging.handlers.RotatingFileHandler(
"app.log", maxBytes=10_000_000, backupCount=5,
encoding="utf-8"
)
file_handler.setFormatter(logging.Formatter("%(asctime)s %(levelname)s %(message)s"))</p><p>listener = QueueListener(log_queue, file_handler)
listener.start() # 启动后台线程</p>
此后所有 logger.info() 调用都只往队列发对象，几乎不耗时。注意两点：
- 进程退出前要调用
listener.stop()，否则可能丢失队列中未处理的日志 -
queue.Queue(-1)虽防丢日志，但极端情况下会吃光内存；若对可靠性要求不高，可用queue.Queue(maxsize=1000)并配合queue_handler.enqueue的异常处理
禁用堆栈和路径字段降低 CPU 开销
默认格式器里的 %(pathname)s、%(funcName)s、%(lineno)d 每次都要调用 inspect.stack()，开销比写磁盘还高。生产环境应砍掉。
对比示例：
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
# ❌ 重：含路径和行号 "%(asctime)s %(levelname)s %(pathname)s:%(lineno)d %(funcName)s %(message)s" <h1>✅ 轻：只留模块名和简短标识</h1><p>"%(asctime)s %(levelname)s %(name)s %(message)s"</p>
同时确认没全局开启 exc_info=True 或 stack_info=True —— 这俩在 logger.error() 里显式传参即可，比如 logger.error("DB timeout", exc_info=True)。
-
%(name)s是 logger 实例名（如logging.getLogger("db")），比%(pathname)s快一个数量级 - 时间格式也别用
%(asctime)s默认格式，它每次调用time.localtime()；可改用%(created)f+ 自定义 formatter 类做一次转换
采样 + 级别控制比纯异步更治本
异步只是把阻塞转移了，如果每毫秒都在打日志，队列照样积压、磁盘照样写爆。真正要做的，是让不该写的日志根本不出现在队列里。
两个关键动作：
- 线上环境把 root logger 级别设为
WARNING或ERROR，关掉所有INFO/DEBUG - 对高频路径加采样，比如只记录 1% 的请求日志：
if random.random() - 用
Filter做动态过滤，例如屏蔽健康检查接口的日志：class HealthCheckFilter(logging.Filter): def filter(self, record): return "health" not in record.getMessage()
很多团队花大力气搞异步，结果发现删掉两行 logger.debug() 就解决了 90% 的性能问题 —— 日志不是越多越好，是刚好够排查问题。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
