怎么用Python脚本自动抓取接口数据并存入PostgreSQL？-Python教程-PHP中文网

调用接口需带authorization头或token，分页依响应字段（next/has_more）用while循环拉取；json嵌套深时存为jsonb类型，时间、数值字段需安全转换；批量插入用on conflict和execute_batch提升性能。

怎么用python脚本自动抓取接口数据并存入postgresql？

大多数生产接口需要 Authorization 头或参数传 token，直接裸调会返回 401 或空数据。别硬试，先看文档里「Authentication」章节——常见的是 Bearer xxx、API-Key: xxx 或 session_id 放 query 里。

分页字段五花八门：page/limit、offset/size、甚至用 cursor（比如 Twitter API）。关键不是猜，是检查响应体里有没有 next、has_more、total 这类字段，再决定用 while 循环还是递归拉取。

接口返回的 JSON 嵌套深？别用 json_normalize 硬 flatten——它容易把数组字段炸成多行，而你实际只想存原始 JSON 字符串。PostgreSQL 有 JSONB 类型，直接 psycopg2 插入前用 json.dumps() 即可。

如果必须拆成关系表字段，注意三件事：

None 在 Python 是 NULL，但 PostgreSQL 的 JSONB 字段不认 None，得转成 json.dumps(None) → "null"，或显式过滤掉 key
时间字段常是字符串（如 "2024-05-20T08:30:00Z"），用 datetime.fromisoformat() 解析，再转成 datetime 对象，psycopg2 才能自动映射到 TIMESTAMP WITH TIME ZONE
数值字段可能混着字符串（如 "123"），用 int(x) if x.isdigit() else None 安全转换，别信接口文档说的「always number」

重复抓取同一批数据？用 INSERT ... ON CONFLICT DO NOTHING 最省事，但得提前确认表有唯一约束（比如 CREATE UNIQUE INDEX ON api_logs (request_id);），否则语法报错。

单条 execute() 插 1000 行？慢到怀疑人生。改用 execute_batch() 或 copy_from()：

testing-python

使用pytest编写和评估有效的Python测试。适用于编写测试、审查测试代码、调试测试失败或提高测试覆盖率。

下载

execute_batch(cur, "INSERT INTO t VALUES (%s,%s)", data_list, page_size=500) —— 简单可靠，适合中小量（
copy_from() 快十倍，但要求数据是文件对象或 StringIO，且字段顺序必须和表定义完全一致
别忘在事务外执行 conn.commit()，否则脚本退出就回滚

网络抖动、数据库挂了、老板突然叫你开会……脚本中断后最烦重跑全部。解决方案就一个：把「最后成功插入的标识」记下来，比如接口的 updated_at 时间戳或 id。

不要手写日志文件解析，直接建一张 job_state 表：

CREATE TABLE job_state (
  job_name TEXT PRIMARY KEY,
  last_id BIGINT,
  updated_at TIMESTAMPTZ
);

每次启动脚本，先查 SELECT last_id FROM job_state WHERE job_name = 'user_api';，然后请求时带上 params={'since_id': last_id}；插入成功后更新该行。

这招看着土，但比任何「分布式任务队列」都稳——毕竟你只是想把接口数据落库，不是造火箭。

真正麻烦的是接口本身不支持按 ID 增量拉取，只能靠时间字段。这时候要注意时区：服务端用 UTC，你的脚本也得用 datetime.now(timezone.utc)，别用本地时区硬算。

Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！

怎么用Python脚本自动抓取接口数据并存入PostgreSQL？