在 Scrapy 项目中，应将数据库连接统一初始化在 Spider 实例中（如 __init__ 或 from_crawler 方法），再通过 spider 参数透传至 Pipeline、StatsCollector 等组件，实现单例复用、线程安全且符合 Scrapy 生命周期管理。
在 scrapy 项目中，应将数据库连接统一初始化在 spider 实例中（如 `__init__` 或 `from_crawler` 方法），再通过 `spider` 参数透传至 pipeline、statscollector 等组件，实现单例复用、线程安全且符合 scrapy 生命周期管理。
Scrapy 的设计哲学强调组件解耦与依赖显式传递，而非全局状态或模块级单例。因此，不推荐在 pipelines.py、settings.py 或独立模块中直接初始化数据库连接（如 psycopg2.connect()），原因有三：
- 全局连接易引发线程/协程安全问题（Scrapy 默认多线程运行）；
- 连接生命周期难以与爬虫启停同步，可能导致资源泄漏；
- 难以支持不同 spider 使用不同数据库配置（如分库分表场景）。
✅ 推荐方案：在 Spider 中初始化，并通过 spider 实例共享
Scrapy 在调用 Pipeline 的 process_item(item, spider) 和 StatsCollector 的 open_spider(spider) 等方法时，均会传入当前 spider 对象。因此，只需在 spider 初始化阶段建立连接并挂载为实例属性，即可被所有关联组件安全访问：
# my_project/spiders/spider1.py
import psycopg2
from scrapy import Spider
class Spider1(Spider):
name = "spider1"
def __init__(self, *args, **kwargs):
super().__init__(*args, **kwargs)
# ✅ 在 spider 实例中初始化连接（每个 spider 独享）
self.db_conn = psycopg2.connect(
host=self.settings.get('DB_HOST', 'localhost'),
database=self.settings.get('DB_NAME'),
user=self.settings.get('DB_USER'),
password=self.settings.get('DB_PASSWORD')
)
self.db_cursor = self.db_conn.cursor()
def parse(self, response):
# 示例：在 spider 中查询数据库
self.db_cursor.execute("SELECT id FROM sources WHERE active = true")
for row in self.db_cursor.fetchall():
yield {"source_id": row[0]}
def closed(self, reason):
# ✅ 确保连接在 spider 关闭时释放
if hasattr(self, 'db_cursor') and self.db_cursor:
self.db_cursor.close()
if hasattr(self, 'db_conn') and self.db_conn:
self.db_conn.close()
Pipeline 和 StatsCollector 可直接使用该连接：
# my_project/pipelines.py
class SaveToPostgresPipeline:
def process_item(self, item, spider):
# ✅ 安全访问 spider 实例上的 db_conn
if hasattr(spider, 'db_conn') and spider.db_conn:
with spider.db_conn.cursor() as cur:
cur.execute(
"INSERT INTO items (title, url) VALUES (%s, %s)",
(item.get('title'), item.get('url'))
)
spider.db_conn.commit()
return item
# my_project/MyStatsCollector.py
from scrapy import signals
class MyStatsCollector:
def __init__(self):
self.stats = {}
@classmethod
def from_crawler(cls, crawler):
ext = cls()
crawler.signals.connect(ext.spider_opened, signal=signals.spider_opened)
crawler.signals.connect(ext.spider_closed, signal=signals.spider_closed)
return ext
def spider_opened(self, spider):
# ✅ 同样可访问 spider.db_conn（若已初始化）
if hasattr(spider, 'db_conn'):
spider.logger.info(f"Connected to DB: {spider.db_conn.info.host}")
def spider_closed(self, spider, reason):
pass
? 关键注意事项：
- 避免在 __init__ 中硬编码连接参数：优先从 spider.settings 或 crawler.settings 读取，便于环境隔离（如开发/生产）；
- 务必实现 closed() 或 spider_closed 清理逻辑：防止连接泄露；
- 如需连接池（高并发场景）：可集成 psycopg2.pool.ThreadedConnectionPool，并在 spider 中初始化池对象，而非单连接；
- 禁止跨 spider 共享连接：每个 spider 应持有独立连接或连接池，Scrapy 不保证 spider 实例的线程归属一致性。
该方案完全遵循 Scrapy 的组件协作范式，既保障资源可控性，又实现“一处初始化、多处透明复用”，是生产环境中最健壮、可维护性最强的实践方式。
