自动备份需确保pg_dump/mysqldump可用并用绝对路径调用;导出失败时须检查returncode而非stdout;上传前用gzip压缩并设contenttype为application/gzip;用boto3.client显式控制超时与重试,并验证s3读权限。

备份前先确认 PostgreSQL/MySQL 的 pg_dump 或 mysqldump 是否可用
自动备份的前提是本地能生成可靠的一致性快照。PostgreSQL 推荐用 pg_dump 加 --no-owner 和 --no-privileges 避免权限问题;MySQL 则需确保 mysqldump 在 PATH 中,且账号有 LOCK TABLES 和 SELECT 权限。
常见错误:脚本执行时提示 command not found: pg_dump,本质是 cron 环境变量不包含 /usr/local/bin 或 /opt/homebrew/bin。解决方法不是改 PATH 全局变量,而是直接在 Python 中用绝对路径调用:
import subprocess subprocess.run(["/opt/homebrew/bin/pg_dump", "-U", "myuser", "-d", "mydb", "-f", "/tmp/mydb_20240512.sql"])
注意:不要在命令里拼接用户输入,必须用参数列表形式传参,防止 shell 注入。
用 subprocess 捕获 dump 过程中的错误并中止上传
数据库导出失败(比如连接超时、锁表冲突)时,如果继续执行上传,结果就是传了一个空文件或截断的 SQL。必须检查子进程的 returncode:
-
returncode == 0:导出成功,继续下一步 -
returncode == 1:一般性错误(如语法错、权限不足),应记录日志并退出 -
returncode == 2:致命错误(如无法连接数据库),需告警而非静默跳过
示例逻辑:
result = subprocess.run([...], capture_output=True, text=True)
if result.returncode != 0:
print(f"Dump failed: {result.stderr}")
exit(1)
别依赖 result.stdout 是否为空来判断成败——有些错误只输出到 stderr,而 stdout 可能仍有部分数据。
Python 3.14.2是Python编程语言在2025年12月5日发布的稳定版本,属于3.14系列的第二个维护更新。该版本包含了18项修复,重点解决了多进程、数据类及正则表达式等模块的回归问题,并修复了CVE-2025-12084等安全漏洞。此版本标志着自由线程模式(移除GIL)正式获得官方支持,是Python发展的重要里程碑。
上传前压缩再传,避免 S3 存储费用和传输耗时翻倍
纯 SQL 文件未压缩时体积大、上传慢、S3 存储成本高。Python 自带 gzip 模块即可处理,无需额外依赖:
- 用
gzip.open(..., "wb")直接写入压缩流,不落地中间文件 - 文件名后缀保持为
.sql.gz,方便后续识别和解压 - S3 的
ContentType设为application/gzip,否则浏览器下载可能无法自动解压
上传代码片段:
import gzip
import boto3
with open("/tmp/mydb.sql", "rb") as f_in:
with gzip.open("/tmp/mydb.sql.gz", "wb") as f_out:
f_out.writelines(f_in)
s3 = boto3.client("s3")
s3.upload_file(
"/tmp/mydb.sql.gz",
"my-backup-bucket",
f"postgres/{datetime.now().strftime('%Y%m%d_%H%M%S')}.sql.gz",
ExtraArgs={"ContentType": "application/gzip"}
)
用 boto3.client 而非 resource,避免隐式重试干扰定时任务
在定时备份场景下,boto3.resource 的抽象层会默认启用多次重试(如上传失败自动重试 3 次),容易掩盖真实问题,还可能造成重复上传或时间不可控。直接使用 client 更透明:
- 显式控制超时:
config=Config(connect_timeout=10, read_timeout=60) - 异常捕获更精确:区分
ClientError(权限/桶不存在)和ConnectionError(网络中断) - 上传失败时能拿到原始 HTTP 状态码,比如
403表示密钥没 S3 写权限,404表示桶名错了
关键配置示例:
from botocore.config import Config
from botocore.exceptions import ClientError
config = Config(
region_name="us-east-1",
connect_timeout=5,
read_timeout=30,
retries={"max_attempts": 1, "mode": "standard"}
)
s3 = boto3.client("s3", config=config)
try:
s3.upload_file(...)
except ClientError as e:
if e.response["Error"]["Code"] == "AccessDenied":
print("Check AWS credentials and S3 bucket policy")
exit(1)
最容易被忽略的是:S3 上传成功不等于文件可读。记得检查桶策略是否允许你配置的 IAM 用户执行 s3:GetObject,否则恢复时才发现读不了,就晚了。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!










