Python爬虫如何安全高效地将抓取数据写入PostgreSQL数据库？-Python教程-PHP中文网

不能用f-string拼接sql，否则会导致sql注入或语法错误；必须用%s占位符配合元组传参，且所有变量均由psycopg2自动转义处理。

python爬虫如何安全高效地将抓取数据写入postgresql数据库？

直接用 psycopg2 批量插入 + ON CONFLICT 是最稳的路，别碰字符串拼接、别在循环里反复 commit、也别用单条 INSERT 往里怼。

为什么不能用 f-string 拼 SQL 插入语句

爬虫数据字段名和值基本来自 HTML 解析结果，比如 title 是 "iPhone 16 Pro「新品首发」"，里面带单引号、双引号甚至反斜杠。一旦你写成 f"INSERT INTO products VALUES ('{title}')"，轻则报错 syntax error at or near "新品"，重则被注入恶意 SQL（比如标题变成 "'; DROP TABLE products; --"）。

必须用参数化查询，让 psycopg2 自己处理转义：

cur.execute("INSERT INTO products (title, url) VALUES (%s, %s)", (title, url))

所有变量都放在元组里传给 execute() 第二个参数，%s 是占位符，不是 Python 的字符串格式化
哪怕 title 是空字符串、None、含换行符，psycopg2 都能安全处理
不要混用：不能写成 "INSERT INTO t VALUES (%s, '" + url + "')" —— 这等于把门打开

批量插入时如何避免性能崩盘

单条 INSERT 插 1000 条数据，实际发了 1000 次网络请求+1000 次事务开销，耗时可能从 0.2 秒飙到 8 秒以上。PostgreSQL 原生支持批量操作，关键就两个函数：

executemany()：适合结构简单、无冲突逻辑的场景，例如日志表、原始快照表
execute_batch()（来自 psycopg2.extras）：比 executemany() 更快，底层做了缓冲合并，推荐用于万级以内数据
execute_values()（同样来自 psycopg2.extras）：生成一条带多组 VALUES 的 INSERT，适合需要配合 ON CONFLICT 的 Upsert 场景

示例（Upsert 场景）：

testing-python

使用pytest编写和评估有效的Python测试。适用于编写测试、审查测试代码、调试测试失败或提高测试覆盖率。

下载

from psycopg2.extras import execute_values
execute_values(
    cur,
    "INSERT INTO products (url, title, price) VALUES %s ON CONFLICT (url) DO UPDATE SET title = EXCLUDED.title, price = EXCLUDED.price",
    [(item['url'], item['title'], item['price']) for item in items],
    page_size=500
)

page_size=500 控制每批最多塞 500 行，防止单条 SQL 过长触发 PostgreSQL 的 max_query_size 限制。

如何正确处理重复数据（Upsert）

爬虫最常遇到的问题不是“插不进去”，而是“重复插”——同一商品 URL 被多次抓取，你不希望它变成 5 条记录，而是一条更新后的记录。PostgreSQL 的 ON CONFLICT 是唯一靠谱解法，但有两个硬性前提：

目标字段（如 url）必须有 UNIQUE 约束或主键，否则 ON CONFLICT 不生效
不能用 ON CONFLICT DO NOTHING 就完事——它只防重复，不更新内容；得用 DO UPDATE SET ... 显式指定哪些字段要刷新
EXCLUDED 是关键字，代表“本次想插入但被冲突挡住的那行数据”，不是变量名，别写成 EXCLUDED_title

建表时记得加约束：

CREATE TABLE products (
  id SERIAL PRIMARY KEY,
  url TEXT UNIQUE NOT NULL,
  title TEXT,
  price NUMERIC(10,2),
  updated_at TIMESTAMP WITH TIME ZONE DEFAULT NOW()
);

连接与事务管理容易被忽略的细节

很多人写完 cur.execute() 就以为数据落库了，其实没 commit()，事务还在挂起状态，程序一退出就全回滚。更隐蔽的问题是：用完不关游标、不关连接，会导致连接池耗尽，后续请求卡死。

用 with conn.cursor() as cur: 可自动 close 游标，但不自动 commit
必须显式调用 conn.commit()；如果出错要 conn.rollback()
连接对象（conn）建议复用，不要每次插入都 connect() 再 close()；用连接池（如 psycopg2.pool.ThreadedConnectionPool）更稳妥
如果用 SQLAlchemy，记得关掉 autocommit=True（默认是 False），否则每个语句都自动提交，没法做事务控制