冷热数据分离需手动实现,django orm不支持自动分区;须通过多数据库路由、定时归档任务和结构一致但索引精简的冷表来实现,时间阈值必须全局统一。

冷热数据分离在 Django 里不是靠 ORM 自动做的
Django 的 QuerySet 和模型层本身不提供“自动冷热分区”能力,也没有内置的归档调度、表生命周期管理或跨库路由逻辑。你得自己定义规则、拆分存储、控制读写路径——否则所有数据都在主库主表里堆着,早晚卡死。
常见错误现象:OperationalError: (1205, 'Deadlock found when trying to get lock') 或查询变慢但 EXPLAIN 显示全表扫描,其实是历史订单/日志类数据膨胀导致索引失效。
- 热数据:最近 90 天订单、用户活跃行为,需要高频读写、事务强一致
- 冷数据:超过 90 天的已完成订单、3 个月前的日志,只读、可压缩、可迁出
- 别指望
django.db.models.Manager加个hot()方法就能搞定分区——它只过滤数据,不改变物理存储位置
用多数据库配置 + 路由规则手动分流读写
Django 支持多数据库,但默认不自动按时间路由。你需要继承 DatabaseRouter,在 db_for_read/db_for_write 中判断模型和查询条件,把冷数据请求导向归档库(比如 archive)。
关键点是:路由判断必须轻量,不能查库、不能走 ORM,推荐用模型字段(如 created_at)+ 预设阈值硬编码或从配置读取:
- 在
settings.py里定义DATABASES = {'default': ..., 'archive': {...}} - 写一个
HotColdRouter类,在db_for_write中检查obj.created_at ,返回 <code>'archive' - 注意:迁移命令默认只跑在
default库,冷表结构需手动同步,或用python manage.py migrate --database=archive - 查询时若未指定
.using('archive'),即使数据在 archive 库,Django 仍会去 default 查——路由只影响自动选择,不强制重定向
归档逻辑必须独立于业务代码触发
不能靠用户操作或 HTTP 请求实时触发归档,否则高并发下容易锁表或超时。归档是后台任务,得用定时 + 批量 + 可中断方式做。
典型场景:每天凌晨把 Order 表中 status='completed' 且 updated_at 的记录搬走。
- 用
django-celery-beat或系统 cron 调用自定义 management command - 归档动作建议分三步:查 ID 列表 → 批量 select for update(主库)→ insert into archive → delete from default;避免长事务
- 别用
Model.objects.filter(...).delete()直删,它会触发信号和级联,且无法控制事务粒度;改用原生 SQL 或bulk_create+connection.cursor() - 归档后记得更新对应索引统计(PostgreSQL:
VACUUM ANALYZE orders),否则查询计划器可能继续选错执行路径
冷表结构要和热表严格一致,但可精简索引
如果冷表字段、约束、默认值和热表不一致,后续 join 或导出就容易出错。但索引可以也必须裁剪——冷数据只读,不需要唯一约束、外键或高频查询字段的索引。
例如:热表 Order 有 user_id 外键 + status 索引 + created_at 复合索引;冷表可去掉外键(archive 库无 user 表)、删掉 status 索引(冷数据 status 固定为 'archived'),只保留 created_at 用于范围归档定位。
- 建冷表时用
CREATE TABLE order_archive LIKE order(MySQL)或CREATE TABLE order_archive (LIKE order INCLUDING ALL)(PostgreSQL),再手工删约束 - PostgreSQL 可考虑用分区表(
PARTITION BY RANGE (created_at)),但 Django 不识别分区子表,查询仍需显式指定.using('default')并加 where 条件,否则走父表全扫 - 别给冷表加
auto_now_add字段——归档时时间戳已固定,再设默认值会覆盖原始值
最麻烦的其实是时间边界一致性:业务代码、路由判断、归档脚本、监控告警,三处用的阈值必须完全一样,差一天都可能漏数据或重复归档。建议提成配置项,比如 HOT_DATA_DAYS = 90,全局导入使用。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!











