浅谈mysql配置优化和sql语句优化

做优化，我在这里引用淘宝系统分析师蒋江伟的一句话：只有勇于承担，才能让人有勇气，有承担自己的错误的勇气。有承担错误的勇气，就有去做事得勇气。无论做什么

    做优化，我在这里引用淘宝系统分析师蒋江伟的一句话：只有勇于承担，才能让人有勇气，有承担自己的错误的勇气。有承担错误的勇气，就有去做事得勇气。无论做什么事，只要是对的，就要去做，勇敢去做。出了错误，承担错误，改正错误，这样的人没有人会去责怪。

    很久之前就想写一篇关于mysql优化方面的文章了，忙于工作，在着也比较懒散。现在网上mysql优化方面的帖子很多，也不乏精品。很早听一DBA前辈说过:mysql的优化，三分配置的优化，七分sql语句的优化。之前不是很理解，但接触到高并发大数据的时候，这句话的含义尤为突出，甚至可以说一分配置的优化，九分语句的优化。

mysql的优化，一般分为配置的优化、sql语句的优化、表结构的优化、索引的优化，这里着重说前两点。

 

一、配置的优化

    配置的优化其实包含两个方面的：操作系统内核的优化和mysql配置文件的优化

    1、系统内核的优化对专用的mysql服务器来说，无非是内存实用、连接数、超时处理、TCP处理等方面的优化，根据自己的硬件配置来进行优化，这里不多讲；

    2、mysql配置的优化，一般来说包含：IO处理的常用参数、最大连接数设置、缓存使用参数的设置、慢日志的参数的设置、innodb相关参数的设置等，如果有主从关系在设置主从同步的相关参数即可，网上的相关配置文件很多，大同小异，常用的设置大多修改这些差不多就够用了。

 

以下是我的一个mysql配置文件，仅供参考：

###############################################

[mysqld]

skip-name-resolve

server-id = 1

bind-address = 0.0.0.0

port = 3306

datadir = /home/mysql

tmpdir = /tmp

 

default_storage_engine = InnoDB

character_set_server = utf8

 

innodb_file_per_table = 1

innodb_log_file_size = 512M

innodb_log_files_in_group = 4

innodb_rollback_on_timeout = 1

 

slow_query_log = 1

slow_query_log_file =/var/log/mysql/mysql-slow.log

long_query_time = 1

#log-queries-not-using-indexes#这个参数不安全，说是记录没有用到索引的语句，其实记录的全部的日志，占用大量的IO，建议不要打开

 

 

#relay_log_recovery=1#这个参数在丛库上一定要加上

 

query_cache_type = off

query_cache_size = 0

#这两项是禁用缓存，这个使服务器用途而定：写比较多的数据库最好禁用，因为没写一次他要修改缓存中的数据，给数据库带来额外的开销，读比较的可以开启，可以提高查询效率

 

#一下4个参数是mysql5.6上的新特性

innodb_buffer_pool_dump_at_shutdown = 1 #解释：在关闭时把热数据dump到本地磁盘。

innodb_buffer_pool_dump_now = 1 #解释：采用手工方式把热数据dump到本地磁盘。

innodb_buffer_pool_load_at_startup = 1 #解释：在启动时把热数据加载到内存。

innodb_buffer_pool_load_now = 1 #解释：采用手工方式把热数据加载到内存。

 

read_buffer_size = 2M

sort_buffer_size = 2M

join_buffer_size = 1M

key_buffer_size = 2G 

 

thread_cache_size = 2048

open_files_limit=65535

innodb_open_files = 8192

 

max_allowed_packet = 64M

thread_stack = 512k

max_length_for_sort_data = 16k

tmp_table_size = 1G

max_heap_table_size = 1G

 

max_connections = 4000      

max_connect_errors = 30000

 

innodb_read_io_threads = 8

innodb_write_io_threads = 16

innodb_flush_method = O_DIRECT

innodb_io_capacity = 20000#根据硬盘的情况修改，stat的用100，sas的200，sas做riad10的为400fision-io的可以设置为20000

 

innodb_buffer_pool_size = 72G#内存的80%

innodb_buffer_pool_instances=18

 

thread_concurrency=0

innodb_thread_concurrency = 0

innodb_log_buffer_size = 16M

innodb_flush_log_at_trx_commit = 2

innodb_lock_wait_timeout = 60

 

innodb_old_blocks_time=1000

innodb_use_native_aio = 1

innodb_purge_threads=1

innodb_change_buffering=inserts

##############################################

 

二、sql语句的优化

    前期的配置优化做完，其实在很长的一段时间内，基本上不用在去优化了。而一条sql使用不当，致使整个数据库故障的情况相信做DBA的经常遇到。所以，sql语句的优化和审核才是每个DBA的重中之重。

sql语句的优化，一般的基本原则有以下几个方面：

 

1、  尽量稍作计算

Mysql的作用是用来存取数据的，不是做计算的，做计算的话可以用其他方法去实现，mysql做计算是很耗资源的。

 

2.尽量少 join

 

MySQL 的优势在于简单，但这在某些方面其实也是其劣势。MySQL 优化器效率高，但是由于其统计信息的量有限，优化器工作过程出现偏差的可能性也就更多。对于复杂的多表 Join，一方面由于其优化器受限，，再者在 Join 这方面所下的功夫还不够，所以性能表现离 Oracle 等关系型数据库前辈还是有一定距离。但如果是简单的单表查询，这一差距就会极小甚至在有些场景下要优于这些数据库前辈。

 

3.尽量少排序

 

　　排序操作会消耗较多的 CPU 资源，所以减少排序可以在缓存命中率高等 IO 能力足够的场景下会较大影响 SQL 的响应时间。

　　对于MySQL来说，减少排序有多种办法，比如：

　　通过利用索引来排序的方式进行优化

　　减少参与排序的记录条数

　　非必要不对数据进行排序

 

4.尽量避免 select *