如何在Python中对Django ORM查询进行慢SQL排查与索引优化

夏墨姑娘_3317

夏墨姑娘_3317

2026-09-28

167人浏览

原创

直接查看慢查询日志和connection.queries可立即定位90%性能问题;开发环境用connection.queries或logging+debug=true捕获sql及毫秒级耗时,筛选time>0.1s、select *、含subquery或嵌套annotate的语句;索引应覆盖where/join/order by/group by字段组合,外键必加索引,高频组合查用meta.indexes建复合索引;select_related仅适用于正向foreignkey/onetoonefield,prefetch_related慎用于大数据集,避免in超长或重复count();聚合计算优先用直接sum或分步处理,禁用低效链式values/annotate;所有优化前必用explain验证执行计划。

如何在python中对django orm查询进行慢sql排查与索引优化

直接看慢查询日志和 connection.queries,别猜 —— 90% 的性能问题能立刻定位到具体 SQL 和执行时间。

怎么快速抓到真正拖慢接口的那条 SQL

别依赖前端响应时间或模糊感觉。Django 提供了最轻量、最准的现场诊断方式:

  • 在视图或管理命令里临时加 from django.db import connection,执行完查询后打印 connection.queries,每条记录含 sql、time(秒)、vendor
  • 配合 LOGGING 配置开启 django.db.backends 的 DEBUG=True,所有 SQL 会输出到 console 或文件,带毫秒级耗时
  • 重点筛出 time > 0.1s 的语句,尤其是重复出现、SELECT *、含 Subquery 或多层嵌套 annotate 的 —— 这些大概率是索引缺失或写法失当的信号
  • 注意:connection.queries 在 DEBUG=False 下为空,仅用于开发/预发环境;生产排查请用数据库原生慢日志(如 MySQL 的 slow_query_log)

哪些字段加索引最有效,db_index 和 Meta.indexes 怎么选

索引不是越多越好,关键看 WHERE、JOIN、ORDER BY、GROUP BY 中实际参与的字段组合。常见误判是只给单字段加 db_index=True,但查询条件是多字段联合过滤。

提示词大师-python版
提示词大师-python版

图片提示词生成器?不止如此。 马甲系统 —— 把脑海中的画面,翻译成AI能理解的专业表达。 用得越多,它越懂你:首次需要多问几句确认方向,用久了几乎一说就懂。 用得越多,它越快:缓存机制让后续对话越来越省。 RAG进化:成功案例持续入库,越跑越聪明。 输入「新手指南」查看完整功能介绍

下载
  • 外键字段必须加索引:如 commune = models.ForeignKey(..., db_index=True),否则 filter(commune=...) 就是全表扫描
  • 日期+外键组合高频查询(如气象数据按地区+时间范围聚合),必须建复合索引:models.Index(fields=['commune', 'date']) 和 ['date', 'commune'] 都要,覆盖不同查询顺序
  • db_index=True 适合单字段简单加速;Meta.indexes 才能定义 fields、name、condition(条件索引)等高级能力
  • 避免对 TextField、JSONField 直接建普通索引 —— 除非明确要用前缀索引或表达式索引,否则无效甚至拖慢写入

select_related 和 prefetch_related 用错反而更慢

这两个不是“加了就快”,而是有严格适用边界的预加载机制。滥用会导致数据膨胀、内存飙升,甚至比 N+1 更差。

  • select_related('author') 只适用于正向 ForeignKey / OneToOneField,底层是 INNER JOIN。若关联表数据量大(比如作者有 10 万条记录),一次 JOIN 可能返回百万行,远超业务需要
  • prefetch_related('articles') 对反向关系或多对多有效,但它会发两条独立查询:一条主表,一条子表 IN (id1,id2,...)。如果主表结果集太大(如 5000+ 条),IN 列表会超长,MySQL 可能拒绝执行或退化为全表扫描
  • 真正安全的做法是:先用 .values_list('id', flat=True) 拿 ID 列表,再手动分批查子表(如每 500 个 ID 一批),避免单次查询失控
  • 永远不要在 prefetch_related 后再调用 .count() 或 .exists() —— 它会忽略已 prefetch 的数据,重新发一次 COUNT 查询

聚合计算(如 GDD 积温)为什么总卡住,Subquery 怎么写才不扫全表

在百万级气象表上做跨地区、跨日期的聚合,Subquery + OuterRef 是高危写法。原始代码里 .values('commune_id').annotate(...).values('gdd')[:1] 会让数据库先 GROUP BY 再 LIMIT,无法利用索引下推。

  • 必须确保子查询的 filter() 条件字段(如 date__range 和 commune_id)已被复合索引覆盖,否则子查询本身就会全表扫描
  • 删掉冗余的 .values(...).annotate(...).values(...) 链 —— 改用 Sum( ... ) 直接聚合,避免中间分组开销
  • 如果聚合逻辑复杂(如需逐日计算再求和),宁可拆成两步:先用 values('commune_id', 'date').annotate(daily_gdd=...) 得到中间结果,再用 Pandas 或原生 SQL 汇总,也比硬扛 ORM 子查询强
  • 测试时用 explain 看执行计划:CommuneMeteo.objects.filter(...).explain(),确认是否用了索引、是否出现 Using filesort 或 Using temporary

索引和预加载只是手段,真正的瓶颈往往藏在「你以为在查 100 行,其实数据库在扫 100 万行」这个认知差里。每次优化前,先看 explain 输出和真实 time,而不是凭经验改代码。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python django

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1591

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

3824

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1609

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

22077

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2707

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2767

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1103

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2143

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程