Home  >  Article  >  Database  >  MySQL 利用多线程提升查询性能的一种思路

MySQL 利用多线程提升查询性能的一种思路

WBOY
WBOYOriginal
2016-06-07 17:11:441562browse

MySQL 利用多线程提升查询性能的一种思路,问题的症结在于只能单线程执行。本方案提供一种引擎Multi-thread-query,让MySQL能够用

背景

报表统计类的查询是一类耗时的查询。使用场景是QPS并不大,单每个查询由于需要访问较多数据,对大量数据做处理,执行时间较长(通常秒级以上)。

分析

可以将一个大查询分成多个子查询,如果子查询需要访问的数据为整个查询的1/n,则可估计执行时间为1/n。但由于MySQL一个查询只能在单线程中执行,导致即使将一个大查询拆分成多个子查询,多个子查询执行后合并,需要时间为n*1/n=1,仍不能提升其性能。

问题的症结在于只能单线程执行。本方案提供一种引擎Multi-thread-query,让MySQL能够用多线程同时执行多个子查询。由于还要做一点合并工作,整个查询的时间将略大于n个子查询中查询时间最长的一个,即性能接近n倍。

最后一部分举了一个例子,n=3。

方案说明

1、图示

MySQL 利用多线程提升查询性能的一种思路

2、用户对MTQ发起查询,MTQ拆分成多个子查询向实体表发起多线程查询。

3、MTQ等待全部线程执行完成后,可以在此基础上执行其他函数操作,如count、avg、group by等。

4、需要修改SQL查询格式,子查询如何拆分,由用户在查询里面指定。

5、适用于每个子查询都是计算量大,返回结果少的情况。(若返回结果越多,合并耗时越大)

举例

以一个统计查询需求为例(数据是构造的,木有神马泄密问题)

一个正常的查询如下:

MySQL 利用多线程提升查询性能的一种思路

查询结果

MySQL 利用多线程提升查询性能的一种思路

相同机器上使用MTQ查询语法:

MySQL 利用多线程提升查询性能的一种思路

MTQ查询结果

MySQL 利用多线程提升查询性能的一种思路

可以看到,,时间从3s减少为1.2s,查询结果相同,查询语句上可以直接做sum、group by操作。

linux

Statement:
The content of this article is voluntarily contributed by netizens, and the copyright belongs to the original author. This site does not assume corresponding legal responsibility. If you find any content suspected of plagiarism or infringement, please contact admin@php.cn