怎样在MySQL中利用PARTITION BY RANGE重构历史大表?

夏雪酱_2328

夏雪酱_2328

2026-09-12

704人浏览

原创

range分区按列值连续区间分配数据,适合时间字段或自增主键的范围查询场景;需满足查询条件含分区键的等值或范围扫描才能实现分区裁剪,且分区键须为主键/唯一索引一部分。

怎样在mysql中利用partition by range重构历史大表?

什么是 RANGE 分区,它适合什么场景?

RANGE 分区按列值的连续区间把数据分到不同物理分区里,最常用于时间字段(如 created_atdt)或自增主键。它不是万能的——只有查询条件中频繁用到分区键的等值或范围扫描时,才能真正跳过无关分区(即 partition pruning)。如果业务总查 user_id 但按 created_at 分区,性能反而可能更差,因为 MySQL 还得遍历所有分区找匹配行。

  • 分区键必须是主键/唯一索引的一部分(否则建表报错 ERROR 1503 (HY000): A PRIMARY KEY must include all columns in the table's partitioning function
  • 不支持对已存在数据的表直接添加 RANGE 分区;必须重建表(ALTER TABLE ... PARTITION BY RANGE 会触发全量拷贝)
  • 时间字段建议用 DATEINT(如 YYYYMMDD),避免用 DATETIME 带时分秒——精度太高会让分区边界难管理

如何安全地给大表加 RANGE 分区?

不能直接 ALTER TABLE t1 PARTITION BY RANGE (TO_DAYS(created_at)),尤其当表有上亿行时,锁表时间不可控,线上服务大概率超时。稳妥做法是“影子表 + 数据迁移 + 原子切换”:

  • 先创建带分区的新表 t1_new,结构和索引与原表一致,分区定义明确(例如每月一个分区,P202401P202412,再加一个 P_MAXVALUE 收容未来数据)
  • INSERT INTO t1_new SELECT * FROM t1 WHERE created_at 分批插入(每次 10 万行,配合 <code>SLEEP(0.1) 减轻主从延迟)
  • 同步期间用触发器或应用双写保证新数据不丢失(或停写一小段时间)
  • 最后用 RENAME TABLE t1 TO t1_old, t1_new TO t1 原子切换,再删旧表

注意:若原表有外键,必须先删外键约束,因为分区表不支持外键。

分区数量太多或太少分别有什么坑?

分区数不是越多越好。MySQL 单表最多 8192 个分区,但实际超过 100 个就容易出问题:

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载
  • EXPLAIN 输出变慢,优化器分析成本陡增
  • SHOW CREATE TABLE 结果巨大,某些客户端(如老版本 Navicat)会卡死
  • OPTIMIZE TABLE 变成逐个分区执行,耗时翻倍

太少也不行:比如只分 4 个大分区(按年),那单个分区仍含几千万行,起不到“缩小扫描范围”的作用。经验法则是:单分区行数控制在 500 万以内,且确保最近 3–6 个月的数据能落在独立分区里,方便后续 DROP PARTITION 快速归档。

  • 每个分区应有明确命名(如 P202406),别用默认名 p0p1——后期运维无法直观判断数据归属
  • 新增分区要用 ALTER TABLE t1 REORGANIZE PARTITION p_maxvalue INTO (PARTITION P202407 VALUES LESS THAN (TO_DAYS('2024-08-01')), PARTITION p_maxvalue VALUES LESS THAN MAXVALUE),不能直接 ADD PARTITION

为什么 ALTER TABLE 加分区后查询没变快?

常见原因不是分区本身失效,而是查询没命中分区裁剪:

  • WHERE created_at = '2024-06-15 14:22:03' 能裁剪,但 WHERE DATE(created_at) = '2024-06-15' 不能——函数包裹分区键会导致全分区扫描
  • 使用了 OR 条件,如 WHERE created_at ,优化器通常放弃裁剪
  • 分区键类型和查询值类型不一致,比如分区键是 INT(存 20240601),但查询写了 WHERE created_at = '2024-06-01',隐式转换让索引失效

验证是否生效,看 EXPLAIN PARTITIONS 输出里的 partitions 列:如果显示 p202406,p202407 就对了;如果显示 p0,p1,...,p11 或全部分区名,说明没裁剪。

分区不是银弹,它解决的是“数据冷热分离”和“批量删除”的问题,而不是替代索引。该建的联合索引,一个都不能少。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

3743

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

791

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

969

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

5521

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

2503

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

5520

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

7181

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

970

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

852

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 172人学习

使用phpenv集成环境安装极致CMS
使用phpenv集成环境安装极致CMS

共2课时 | 274人学习