MySQL一个异常查询问题追查_MySQL

问题

<code style="font-family: inherit; font-size: 14px; padding: 0px; color: inherit; background-color: transparent; white-space: pre-wrap; border-top-left-radius: 0px; border-top-right-radius: 0px; border-bottom-right-radius: 0px; border-bottom-left-radius: 0px; border: 0px;">线上碰到的问题：相同的语句，只是最后的limit行数不同。奇怪的是，limit 10 的性能比limit 100的语句还慢约10倍。隐藏用户表信息，语句及结果如下SELECTf1 , SUM(`f2`) `CNT` FROM TWHERE f1 IS NOT NULL AND f3 = '2014-05-12' GROUP BY f1 ORDER BY `CNT` DESC LIMIT 10;执行时间3 min 3.65 secSELECTf1 , SUM(`f2`) `CNT` FROM TWHERE f1 IS NOT NULL AND f3 = '2014-05-12' GROUP BY f1 ORDER BY `CNT` DESC LIMIT 100;执行时间1.24Sec.性能差距非常大！</code>

分析

<code style="font-family: inherit; font-size: 14px; padding: 0px; color: inherit; background-color: transparent; white-space: pre-wrap; border-top-left-radius: 0px; border-top-right-radius: 0px; border-bottom-right-radius: 0px; border-bottom-left-radius: 0px; border: 0px;">MySQL Tips：追查语句执行时最常用的方法，是通过explain来看语句的执行计划。 </code>

<code style="font-family: inherit; font-size: 14px; padding: 0px; color: inherit; background-color: transparent; white-space: pre-wrap; border-top-left-radius: 0px; border-top-right-radius: 0px; border-bottom-right-radius: 0px; border-bottom-left-radius: 0px; border: 0px;">更有冲击性的效果是通过缩小范围后，在这个数据下，limit 67和limit 68的执行计划相差很大。两个执行计划:LIMIT 67 id: 1select_type: SIMPLEtable: atype: rangepossible_keys: A,B,Ckey: Bkey_len: 387ref: NULLrows: 2555192Extra: Using where; Using temporary; Using filesort1 row in set (0.00 sec) LIMIT 68id: 1select_type: SIMPLEtable: atype: refpossible_keys: A,B,Ckey: Akey_len: 3ref: constrows: 67586Extra: Using where; Using temporary; Using filesort1 row in set (0.00 sec)可以看到，两个语句的执行计划不同：使用的索引不同。</code>

<code style="font-family: inherit; font-size: 14px; padding: 0px; color: inherit; background-color: transparent; white-space: pre-wrap; border-top-left-radius: 0px; border-top-right-radius: 0px; border-bottom-right-radius: 0px; border-bottom-left-radius: 0px; border: 0px;">MySQL Tips：explain的结果中，key表示最终使用的索引，rows表示使用这个索引需要扫描的行数，这是个估计值。表中 索引A定义为 (f3, f4, f1, f2, f5); 索引B定义为(f1, f2, f3);</code>

一个确认

<code style="font-family: inherit; font-size: 14px; padding: 0px; color: inherit; background-color: transparent; white-space: pre-wrap; border-top-left-radius: 0px; border-top-right-radius: 0px; border-bottom-right-radius: 0px; border-bottom-left-radius: 0px; border: 0px;">虽然rows是估计值，但是指导索引使用的依据。既然limit 68能达到rows 67586, 说明在第一个语句优化器可选结果中，也应该有此值，为什么不会选择索引A？先确认一下我们上面的这个结论。</code>

<code style="font-family: inherit; font-size: 14px; padding: 0px; color: inherit; background-color: transparent; white-space: pre-wrap; border-top-left-radius: 0px; border-top-right-radius: 0px; border-bottom-right-radius: 0px; border-bottom-left-radius: 0px; border: 0px;">MySQL Tips：MySQL语法中能够用force index 来强行要求优化器使用某一个索引。</code>

Explain SELECT f1 , SUM(f2) CNT FROM t force index(A) WHERE f1 IS NOT NULL AND f3 = ‘2014-05-12’ GROUP BY P ORDER BY CNT DESC LIMIT 67/G

id: 1 
select_type: SIMPLE 
table: a 
type: ref 
possible_keys:A 
key: A 
key_len: 3 
ref: const 
rows: 67586 
Extra: Using where; Using temporary; Using filesort 
1 row in set (0.00 sec)

<code style="font-family: inherit; font-size: 14px; padding: 0px; color: inherit; background-color: transparent; white-space: pre-wrap; border-top-left-radius: 0px; border-top-right-radius: 0px; border-bottom-right-radius: 0px; border-bottom-left-radius: 0px; border: 0px;">顺便说明，由于我们指定了force index，因此优化器不会考虑其他索引，possible_keys里只会显示A。我们关注的是rows:67586。这说明在limit 67语句里，使用索引A也能够减少行扫描。</code>

<code style="font-family: inherit; font-size: 14px; padding: 0px; color: inherit; background-color: transparent; white-space: pre-wrap; border-top-left-radius: 0px; border-top-right-radius: 0px; border-bottom-right-radius: 0px; border-bottom-left-radius: 0px; border: 0px;">MySQL Tips：MySQL优化器会对possiable_key中的每个可能索引都计算查询代价，选择最小代价的查询计划。</code>

<code style="font-family: inherit; font-size: 14px; padding: 0px; color: inherit; background-color: transparent; white-space: pre-wrap; border-top-left-radius: 0px; border-top-right-radius: 0px; border-bottom-right-radius: 0px; border-bottom-left-radius: 0px; border: 0px;">至此我们大概可以猜测，这个应该是MySQL实现上的bug：没有选择合适的索引，导致使用了明显错误的执行计划。</code>

<code style="font-family: inherit; font-size: 14px; padding: 0px; color: inherit; background-color: transparent; white-space: pre-wrap; border-top-left-radius: 0px; border-top-right-radius: 0px; border-bottom-right-radius: 0px; border-bottom-left-radius: 0px; border: 0px;">MySQL Tips：MySQL的优化器执行期间需要依赖于表的统计信息，而统计信息是估算值，因此有可能导致得到的执行计划非最优。</code>

<code style="font-family: inherit; font-size: 14px; padding: 0px; color: inherit; background-color: transparent; white-space: pre-wrap; border-top-left-radius: 0px; border-top-right-radius: 0px; border-bottom-right-radius: 0px; border-bottom-left-radius: 0px; border: 0px;">但要说明的是，上述Tip是客观情况造成（可接受），但本例却是例外，因此优化器实际上可以拿到能够作出选择正确结果的数据(rows值)，但是最终选择错误。</code>

原因分析

<code style="font-family: inherit; font-size: 14px; padding: 0px; color: inherit; background-color: transparent; white-space: pre-wrap; border-top-left-radius: 0px; border-top-right-radius: 0px; border-bottom-right-radius: 0px; border-bottom-left-radius: 0px; border: 0px;">MySQL优化器是按照查询代价的估算值，来确定要使用的索引。计算这个估算值的过程，基本是按照“估计需要扫描的行数”来确定的。</code>

<code style="font-family: inherit; font-size: 14px; padding: 0px; color: inherit; background-color: transparent; white-space: pre-wrap; border-top-left-radius: 0px; border-top-right-radius: 0px; border-bottom-right-radius: 0px; border-bottom-left-radius: 0px; border: 0px;">MySQL Tips：MySQL在目前集团主流使用的5.1和5.5版本中只能使用前缀索引。</code>

因此，使用索引A只能用上字段f3，使用索引B只能用上字段f1。Rows即为使用了索引查到上下界，之后需要扫描的数据行数（估算值）。

<code style="font-family: inherit; font-size: 14px; padding: 0px; color: inherit; background-color: transparent; white-space: pre-wrap; border-top-left-radius: 0px; border-top-right-radius: 0px; border-bottom-right-radius: 0px; border-bottom-left-radius: 0px; border: 0px;">上述的语句需要用到group和order by，因此执行计划中都有Using temporary; Using filesort。流程上按顺序先计算使用索引A的查询代价。之后依次计算其他possitabe_key的查询代价。由于过程中需要排序，在得到一个暂定结果后，需要判断是否有代价更低的排序方式(test_if_cheaper_ordering)。与之前的大同小异，也是依靠估计扫描行数来计算代价。在这个逻辑的实现过程中，存在一个bug：在估计当前索引的区分度的时候，没有考虑到前缀索引。即：假设表中有50w行数据，索引B(f1,f2,f3)，则计算索引区分度时，需要根据能够用上的前缀部分来确定。比如f1有1000个不同的值，则平均每个key值上的记录数为500.如(f1,f2)有10000个同的值，则平均每个组合key上的记录数为50，若(f1,f2,f3)有50w个不同的值，则平均每个组合key上的记录数为1。</code>

<code style="font-family: inherit; font-size: 14px; padding: 0px; color: inherit; background-color: transparent; white-space: pre-wrap; border-top-left-radius: 0px; border-top-right-radius: 0px; border-bottom-right-radius: 0px; border-bottom-left-radius: 0px; border: 0px;">MySQL Tips：每个key上的记录数越少，说明使用该索引查询时效率最高。对应于show index from tbl 输出结果中的Cardinality值越大。</code>

在这个case下，索引A只能使用f1做前缀索引，但是在计算单key上的行平均值时用的是(f1,f2,f3)，这就导致估算用索引B估算的时候，得到的代价偏小。导致误选。

回到问题本身

<code style="font-family: inherit; font-size: 14px; padding: 0px; color: inherit; background-color: transparent; white-space: pre-wrap; border-top-left-radius: 0px; border-top-right-radius: 0px; border-bottom-right-radius: 0px; border-bottom-left-radius: 0px; border: 0px;">1、为什么limit值大的时候反而选对了呢？</code>这是因为在计算B的查询代价时，查询需要返回的行数limit_rows也参与乘积，若limit值较大，则计算出来的B的代价就会更大，反而会由于代价。值超过A，而导致优化器最终选择A。

<code style="font-family: inherit; font-size: 14px; padding: 0px; color: inherit; background-color: transparent; white-space: pre-wrap; border-top-left-radius: 0px; border-top-right-radius: 0px; border-bottom-right-radius: 0px; border-bottom-left-radius: 0px; border: 0px;">2、这个表有50w行数就，为什么limit相差为就差别这么大？这与语句本身有关。这个语句中有group by，这就意味着每多limit一个值，实际上需要扫描更多的行N。 这里N为“表的总行数”/“表中不同的f2值”。也就是说这个语句使得这个bug有放大作用。</code>

解决方案

<code style="font-family: inherit; font-size: 14px; padding: 0px; color: inherit; background-color: transparent; white-space: pre-wrap; border-top-left-radius: 0px; border-top-right-radius: 0px; border-bottom-right-radius: 0px; border-bottom-left-radius: 0px; border: 0px;">分析清楚后解决方法就比较简单了，修改代码逻辑，在执行test_if_cheaper_ordering过程中，改用字段f1的区分度来计算即可。</code>