Scrapy日志默认输出到stdout,因LOG_FILE不支持多进程安全追加、LOG_STDOUT导致日志混杂且结构混乱;需禁用Scrapy默认handler,自定义JSONFileHandler接管root logger实现结构化输出。

Scrapy日志默认输出到哪里?为什么直接重定向不靠谱
Scrapy 默认使用 Python 的 logging 模块,日志输出目标由 LOG_FILE 或 LOG_STDOUT 控制。但直接设 LOG_FILE='scrapy.log' 会导致多进程(如 CrawlSpider 多并发、scrapy crawl -s LOG_FILE=... 启动多个实例)时日志错乱或覆盖;而设 LOG_STDOUT=True 又会让日志混在 stdout 中,难以被日志采集器(如 Filebeat、Fluentd)稳定识别。
-
LOG_FILE是单文件写入,不支持多进程安全追加 -
LOG_STDOUT会把日志和print()、异常 traceback 混在一起,结构混乱 - Scrapy 的
logformatter默认不输出毫秒级时间戳、trace_id 等监控必需字段
用自定义 logging.Handler 实现统一 JSON 日志输出
核心是绕过 Scrapy 的 LOG_FILE 机制,直接接管 root logger,注入一个支持多进程、带结构化字段的 Handler(比如 ConcurrentRotatingFileHandler 或 QueueHandler + 子进程写入)。
import logging
import json
from datetime import datetime
from scrapy.utils.log import configure_logging
<p>def json_formatter(record):
return json.dumps({
"timestamp": datetime.utcnow().isoformat() + "Z",
"level": record.levelname,
"logger": record.name,
"message": record.getMessage(),
"spider": getattr(record, 'spider', None),
"url": getattr(record, 'url', None),
}, ensure_ascii=False)</p><p>class JSONFileHandler(logging.FileHandler):
def emit(self, record):
try:
msg = self.format(record) + "\n"
stream = self.stream
stream.write(msg)
stream.flush()
except Exception:
self.handleError(record)</p><h1>在 settings.py 或 crawler 启动前调用</h1><p>configure_logging(install_root_handler=False)
root_logger = logging.getLogger()
root_logger.setLevel(logging.DEBUG)</p><p>handler = JSONFileHandler("scrapy_structured.log")
handler.setFormatter(logging.Formatter("%(message)s"))
root_logger.addHandler(handler)</p>
- 必须设
install_root_handler=False,否则 Scrapy 会覆盖你的配置 -
JSONFileHandler要自己处理换行,否则多条日志会挤成一行 - 如果跑在 Kubernetes 或 Docker 中,建议把日志输出到
/dev/stdout(仍用此 Handler),方便日志采集器捕获
如何给关键日志打标(如抓取失败、5xx 响应、解析异常)以便告警
Scrapy 的日志记录点分散:Downloader 输出 5xx 用 downloader/exception,解析失败靠 spider.parse 抛异常,去重重复请求靠 dupefilter。不能只靠 level=ERROR,得在日志 record 上动态加字段。
- 在
spider.parse()中主动记录带上下文的日志:self.logger.error("parse_failed", extra={"url": response.url, "status": response.status, "error": str(e)}) - 在
DOWNLOADER_MIDDLEWARES中拦截 5xx 响应,用logger.warning("http_5xx", extra={"url": request.url, "status": response.status}) - 给所有 record 注入
spider名:继承Spider,重写log()方法,自动塞extra={"spider": self.name}
这样告警规则就能写成:
- 匹配
message: "parse_failed"→ 触发解析层告警 - 匹配
level: "ERROR" AND logger: "scrapy.core.scraper"→ 抓取异常 - 匹配
message: "http_5xx" AND status >= 500→ 下载层批量故障
告警监控链路中容易被忽略的三个细节
- Scrapy 的
LOG_LEVEL 默认是 DEBUG,但生产环境设成 WARNING 后,INFO 级别的成功抓取日志就没了,导致无法统计 QPS 或发现“零日志”静默故障 —— 建议保留 INFO,用结构化字段过滤,而非降级日志等级
-
Twisted 底层异常(如 DNS timeout、ConnectionLost)不会走 Scrapy 的 logger,而是打到 twisted.logger,需额外配置 twisted.logger 的 observer 才能捕获
- 日志中的
url 字段若含敏感参数(如 token、auth_key),必须在 json_formatter 中清洗,否则会泄漏凭证到 ES 或告警消息里
LOG_LEVEL 默认是 DEBUG,但生产环境设成 WARNING 后,INFO 级别的成功抓取日志就没了,导致无法统计 QPS 或发现“零日志”静默故障 —— 建议保留 INFO,用结构化字段过滤,而非降级日志等级 Twisted 底层异常(如 DNS timeout、ConnectionLost)不会走 Scrapy 的 logger,而是打到 twisted.logger,需额外配置 twisted.logger 的 observer 才能捕获 url 字段若含敏感参数(如 token、auth_key),必须在 json_formatter 中清洗,否则会泄漏凭证到 ES 或告警消息里 日志统一不是加个文件路径就行,关键在结构可机读、字段可追溯、错误可归因。真正难的不是输出,是让每条日志自带上下文,且不被并发、框架分层、中间件劫持搞丢。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!











