loguru默认配置不适用于爬虫，因其将日志输出到stderr且无轮转和上下文绑定，易导致日志不可追溯、磁盘爆满及请求信息混淆；需用bind()注入request_id等上下文、显式配置rotation/compression/queue，并清洗敏感字段。
Loguru 能让爬虫日志更可靠、更易排查，但直接 logger.add() 不加控制会迅速写爆磁盘或漏掉关键上下文。
为什么爬虫场景下不能只用默认 logger
默认配置下，Loguru 会把所有日志打到 stderr，爬虫常驻运行时根本没法追溯；而且没做 rotation 和 retention，跑几天就生成几十 GB 的单个日志文件。更麻烦的是，多个请求共用同一个 logger 实例时，request_id、url 这类上下文信息无法自动绑定，出错时只能靠时间戳硬猜哪次请求挂了。
如何给每次请求注入独立上下文（如 request_id）
靠 logger.bind() 绑定临时上下文，而不是全局修改 logger。每次发起请求前创建新 bound logger，确保日志行自带可追踪字段：
from loguru import logger
import uuid
<p>def crawl_page(url):
req_id = str(uuid.uuid4())[:8]
req_logger = logger.bind(request_id=req_id, url=url)
req_logger.info("start crawling")
try:</p><h1>模拟请求</h1><pre class="brush:python;toolbar:false;"> req_logger.success("crawled successfully")
except Exception as e:
req_logger.error("failed: {e}", e=str(e))
-
bind()返回新 logger，不影响全局实例，避免上下文污染 - 不要在循环里反复
logger.add()，每个 bound logger 共享同一组 handler - 如果用了异步（
asyncio），需配合contextvars做上下文隔离，否则并发时request_id会串
怎样配置 rotation + compression 防止日志撑爆磁盘
爬虫高频输出日志，必须限制单文件大小、保留天数和自动压缩。用 logger.add() 时显式指定参数：
logger.add(
"logs/crawler_{time:YYYY-MM-DD}.log",
rotation="100 MB",
retention="7 days",
compression="zip",
enqueue=True,
backtrace=True,
diagnose=True
)
-
rotation="100 MB"比"1 day"更稳妥——有些爬虫一天抓几百万页，按天切可能单日生成上百个文件 -
enqueue=True是关键：启用队列机制，避免 I/O 阻塞主线程，尤其在高并发 requests 场景下 -
backtrace=True和diagnose=True在开发期很有用，但上线后建议关掉，它们会拖慢异常捕获速度
如何避免敏感信息（token、cookie）被意外记入日志
Loguru 不过滤内容，logger.info("headers: {h}", h=resp.request.headers) 可能直接打出 Authorization 字段。得在日志格式化前清洗：
import re
from loguru import logger
<p>def scrub_headers(headers):
sensitive = ["Authorization", "Cookie", "Set-Cookie"]
clean = dict(headers)
for key in sensitive:
if key in clean:
clean[key] = "[REDACTED]"
return clean</p><h1>使用时</h1><p>logger.info("response from {url}, headers: {h}", url=url, h=scrub_headers(resp.headers))</p>
- 别依赖日志 handler 的 filter 参数做脱敏——它只对最终字符串生效，而 traceback 或
exc_info=True仍可能泄露原始变量 - 对
requests.Session做 monkey patch 也能统一拦截，但不如显式 scrub 控制精准 - 如果用
logger.opt(record=True)自定义 format，注意record["extra"]里也可能藏敏感数据，得一并检查
真正难的不是加几行 logger.info()，而是让每条日志在三个月后还能准确定位到某次失败请求的完整链路——这取决于 context 绑定是否稳定、rotation 是否不丢日志、以及有没有在源头掐掉敏感信息。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
