詳解MySQL資料庫優化

一個成熟的資料庫架構並不是一開始設計就具備高可用、高伸縮等特性的，它是隨著用戶量的增加，基礎架構才逐漸完善。這篇部落格文章主要談MySQL資料庫發展週期中所面臨的問題及最佳化方案，暫且拋開前端應用不說，大致分為以下五個階段：

 

1 、資料庫表設計

專案立項後，開發部根據產品部需求開發項目，開發工程師工作其中一部分就是對錶結構設計。對資料庫來說，這一點很重要，如果設計不當，會直接影響存取速度和使用者體驗。影響的因素很多，例如慢查詢、低效率的查詢語句、沒有適當建立索引、資料庫堵塞（死鎖）等。當然，有測試工程師的團隊，會做壓力測試，找bug。對於沒有測試工程師的團隊來說，大多數開發工程師初期不會太多考慮資料庫設計是否合理，而是盡快完成功能實現和交付，等專案有一定訪問量後，隱藏的問題就會暴露，這時再去修改就不是這麼容易的事了。

 

2、資料庫部署

該維運工程師出場了，專案初期訪問量不會很大，所以單台部署足以應對在1500左右的QPS（每秒查詢率）。考慮到高可用性，可採用MySQL主從複製+Keepalived做雙擊熱備，常見群集軟體有Keepalived、Heartbeat。

雙機熱備部落格文章：http://www.php.cn/

3、資料庫效能最佳化

如果將MySQL部署到普通的X86伺服器上，在不經過任何優化情況下，MySQL理論值正常可以處理2000左右QPS，經過優化後，有可能會提升到2500左右QPS，否則，訪問量當達到1500左右並發連線時，資料庫處理效能就會變慢，而且硬體資源還很富裕，這時就該考慮軟體問題了。那麼要如何讓資料庫最大化發揮效能呢？一方面可以單一運行多個MySQL實例讓伺服器效能發揮到最大化，另一方面是對資料庫進行最佳化，往往作業系統和資料庫預設配置都比較保守，會對資料庫發揮有一定限制，可對這些配置進行適當的調整，盡可能的處理更多連接數。

具體優化有以下三個層面：

3.1 資料庫配置優化

MySQL常用有兩種儲存引擎，一個是MyISAM，不支援事務處理，讀取效能處理快，表格層級鎖定。另一個是InnoDB，支援事務處理（ACID），設計目標是為處理大容量資料發揮最大化效能，行級鎖定。

• 表鎖：開銷小，鎖定粒度大，發生死鎖機率高，相對並發也低。

• 行鎖：開銷大，鎖定粒度小，發生死鎖機率低，相對並發也高。

為什麼會出現表鎖和行鎖呢？主要是為了確保資料的完整性，舉個例子，一個用戶在操作一張表，其他用戶也想操作這張表，那麼就要等第一個用戶操作完，其他用戶才能操作，表鎖和行鎖就是這個作用。否則多個使用者同時操作一張表，肯定會資料產生衝突或異常。

根據以上看來，使用InnoDB儲存引擎是最好的選擇，也是MySQL5.5以後版本中預設儲存引擎。每個儲存引擎相關聯參數比較多，以下列出主要影響資料庫效能的參數。

公共參數預設值：

max_connections = 151
#同时处理最大连接数，推荐设置最大连接数是上限连接数的80%左右
sort_buffer_size = 2M
#查询排序时缓冲区大小，只对order by和group by起作用，可增大此值为16M
query_cache_limit = 1M
#查询缓存限制，只有1M以下查询结果才会被缓存，以免结果数据较大把缓存池覆盖
query_cache_size = 16M
#查看缓冲区大小，用于缓存SELECT查询结果，下一次有同样SELECT查询将直接从缓存池返回结果，可适当成倍增加此值
open_files_limit = 1024
#打开文件数限制，如果show global status like 'open_files'查看的值等于或者大于open_files_limit值时，程序会无法连接数据库或卡死

MyISAM參數預設值：

key_buffer_size = 16M
#索引缓存区大小，一般设置物理内存的30-40%
read_buffer_size = 128K
#读操作缓冲区大小，推荐设置16M或32M

InnoDB參數預設值：

innodb_buffer_pool_size = 128M
#索引和数据缓冲区大小，一般设置物理内存的60%-70%
innodb_buffer_pool_instances = 1
#缓冲池实例个数，推荐设置4个或8个
innodb_flush_log_at_trx_commit = 1
#关键参数，0代表大约每秒写入到日志并同步到磁盘，数据库故障会丢失1秒左右事务数据。1为每执行一条SQL后写入到日志并同步到磁盘，I/O开销大，执行完SQL要等待日志读写，效率低。2代表只把日志写入到系统缓存区，再每秒同步到磁盘，效率很高，如果服务器故障，才会丢失事务数据。对数据安全性要求不是很高的推荐设置2，性能高，修改后效果明显。
innodb_file_per_table = OFF
#默认是共享表空间，共享表空间idbdata文件不断增大，影响一定的I/O性能。推荐开启独立表空间模式，每个表的索引和数据都存在自己独立的表空间中，可以实现单表在不同数据库中移动。
innodb_log_buffer_size = 8M
#日志缓冲区大小，由于日志最长每秒钟刷新一次，所以一般不用超过16M

3.2 系統核心最佳化

大多數MySQL都部署在linux系統上，所以作業系統的某些參數也會影響到MySQL效能，以下對linux核心進行適當最佳化。

net.ipv4.tcp_fin_timeout = 30
#TIME_WAIT超时时间，默认是60s
net.ipv4.tcp_tw_reuse = 1
#1表示开启复用，允许TIME_WAIT socket重新用于新的TCP连接，0表示关闭
net.ipv4.tcp_tw_recycle = 1
#1表示开启TIME_WAIT socket快速回收，0表示关闭
net.ipv4.tcp_max_tw_buckets = 4096
#系统保持TIME_WAIT socket最大数量，如果超出这个数，系统将随机清除一些TIME_WAIT并打印警告信息
net.ipv4.tcp_max_syn_backlog = 4096
#进入SYN队列最大长度，加大队列长度可容纳更多的等待连接

在linux系統中，如果進程開啟的檔案句柄數量超過系統預設值1024，就會提示「too many files open」訊息，所以要調整開啟檔案句柄限制。

# vi /etc/security/limits.conf #加入以下配置，*代表所有用户，也可以指定用户，重启系统生效
* soft nofile 65535
* hoft nofile 65535
# ulimit -SHn 65535 #立刻生效

3.3 硬體配置

增加實體內存，提升檔案系統效能。 linux核心會從記憶體中分配出快取區（系統快取和資料快取）來存放熱數據，透過檔案系統延遲寫入機制，等滿足條件時（如快取區大小到達一定百分比或執行sync指令）才會同步到磁碟。也就是說實體記憶體越大，分配快取區越大，快取資料越多。當然，伺服器故障會遺失一定的快取資料。

SSD硬碟取代SAS硬碟，將RAID等級調整為RAID1+0，相對於RAID1和RAID5有更好的讀寫效能（IOPS），畢竟資料庫的壓力主要來自磁碟I/O方面。

 

4、資料庫架構擴展

隨著業務量越來越大，單一資料庫伺服器效能已無法滿足業務需求，該考慮加機器了，該做集群了~~~。主要想法是分解單一資料庫負載，突破磁碟I/O效能，熱資料存放快取中，降低磁碟I/O存取頻率。

4.1 主從複製與讀寫分離

因為生產環境中，資料庫大多都是讀取操作，所以部署一主多從架構，主資料庫負責寫入操作，並做雙擊熱備，多台從資料庫做負載平衡，負責讀取操作，主流的負載平衡器有LVS、HAProxy、Nginx。 怎麼來實現讀寫分離呢？大多數企業是在程式碼層面實現讀寫分離，效率比較高。另一個種方式透過代理程式實現讀寫分離，企業應用較少，常見代理程式有MySQL Proxy、Amoeba。在這樣資料庫叢集架構中，大幅增加資料庫高並發能力，解決單一效能瓶頸問題。如果從資料庫一台從函式庫處理2000 QPS，那麼5台就能處理1w QPS，資料庫橫向擴充性也很容易。

有時，面對大量寫入操作的應用時，單一寫入效能無法達到業務需求。如果做雙主，就會遇到資料庫資料不一致現象，產生這個原因是在應用程式不同的使用者會有可能操作兩台資料庫，同時的更新操作造成兩台資料庫資料庫資料發生衝突或不一致。在單一庫時MySQL利用儲存引擎機製表鎖和行鎖來確保資料完整性，怎麼能在多台主庫時解決這個問題呢？有一套基於perl語言開發的主從複製管理工具，叫MySQL-MMM（Master-Master replication managerfor Mysql，Mysql主主複製管理器​​），這個工具最大的優點就是在同一時間只提供一台資料庫寫入操作，有效保證資料一致性。

4.2 增加快取

給資料庫增加快取系統，把熱資料快取到記憶體中，如果記憶體快取中有要請求的資料就不再去資料庫傳回結果，提高讀取效能。快取實現有本地快取和分散式緩存，本地快取是將資料快取到本地伺服器記憶體或檔案中，速度快。分散式可以快取海量數據，擴展容易，主流的分散式快取系統有memcached、redis，memcached效能穩定，資料快取在記憶體中，速度很快，QPS可達8w左右。 如果想資料持久化那就用redis，效能不低於memcached。

工作過程：

4.3 分庫

分庫是根據業務不同把相關的表格切分到不同的資料庫中，像是web、bbs、blog等函式庫。如果業務量很大，還可將切分後的庫做主從架構，進一步避免單一庫壓力過大。

4.4 分錶

數據量的日劇增加，數據庫中某個表有幾百萬條數據，導致查詢和插入耗時太長，怎麼能解決單表壓力呢？你就該考慮是否把這個表拆分成多個小表，來減輕單一表的壓力，提高處理效率，此方式稱為分錶。

分錶技術比較麻煩，要修改程式碼裡的SQL語句，還要手動去建立其他表，也可以用merge儲存引擎實作分錶，相對簡單許多。分錶後，程式是對一個總表進行操作，這個總表不存放數據，只有一些分錶的關係，以及更新數據的方式，總表會根據不同的查詢，將壓力分到不同的小表上，因此提高並發能力和磁碟I/O效能。

分錶分成垂直拆分和水平拆分：

垂直拆分：把原來的一個很多字段的表拆分多個表，解決表的寬度問題。你可以把不常用的欄位單獨放到一個表格中，也可以把大字段獨立放一個表格中，或是把關聯密切的欄位放一個表格中。

水平拆分：把原來一個表拆分成多個表，每個表的結構都一樣，解決單表資料量大的問題。

4.5 分區

分區就是把一張表的資料分成多個區塊，這些區塊可以在一個磁碟上，也可以在不同的磁碟上，分割區後，表面上還是一張表，但資料散列在多個位置，這樣一來，多塊硬碟同時處理不同的請求，從而提高磁碟I/O讀寫效能，實現比較簡單。

註：增加快取、分庫、分錶和分區主要由程式猿來實現。

 

5、資料庫維護

資料庫維護是維運工程師或DBA主要工作，包括效能監控、效能分析、效能調優、資料庫備份和復原等。

5.1 效能狀態關鍵指標

QPS，Queries Per Second：每秒查詢數，一台資料庫每秒能夠處理的查詢次數

TPS，Transactions Per Second：每秒處理事務數

透過show status查看運行狀態，會有300多個狀態資訊記錄，其中有幾個值幫可以我們計算出QPS和TPS，如下：

Uptime：伺服器已經運行的實際，單位秒

Questions：已經傳送給資料庫查詢數

Com_select：查詢次數，實際操作資料庫的

Com_insert：插入次數

Com_delete：刪除次數

Com_update：更新次數

Com_commit：交易次數

Com_rollback：回滾次數

那麼，計算方法來了，基於Questions計算出QPS：

mysql> show global status like 'Questions';
mysql> show global status like 'Uptime';

QPS = Questions / Uptime

基于Com_commit和Com_rollback计算出TPS：

mysql> show global status like 'Com_commit';
mysql> show global status like 'Com_rollback';
mysql> show global status like 'Uptime';
TPS = (Com_commit + Com_rollback) / Uptime

另一计算方式：基于Com_select、Com_insert、Com_delete、Com_update计算出QPS

mysql> show global status where Variable_name in('com_select','com_insert','com_delete','com_update');

等待1秒再执行，获取间隔差值，第二次每个变量值减去第一次对应的变量值，就是QPS

TPS计算方法：

mysql> show global status where Variable_name in('com_insert','com_delete','com_update');

计算TPS，就不算查询操作了，计算出插入、删除、更新四个值即可。

经网友对这两个计算方式的测试得出，当数据库中myisam表比较多时，使用Questions计算比较准确。当数据库中innodb表比较多时，则以Com_*计算比较准确。

5.2 开启慢查询日志

MySQL开启慢查询日志，分析出哪条SQL语句比较慢，使用set设置变量，重启服务失效，可以在my.cnf添加参数永久生效。

mysql> set global slow-query-log=on #开启慢查询功能
mysql> set global slow_query_log_file='/var/log/mysql/mysql-slow.log'; #指定慢查询日志文件位置
mysql> set global log_queries_not_using_indexes=on; #记录没有使用索引的查询
mysql> set global long_query_time=1; #只记录处理时间1s以上的慢查询

分析慢查询日志，可以使用MySQL自带的mysqldumpslow工具，分析的日志较为简单。

# mysqldumpslow -t 3 /var/log/mysql/mysql-slow.log #查看最慢的前三个查询

也可以使用percona公司的pt-query-digest工具，日志分析功能全面，可分析slow log、binlog、general log。

分析慢查询日志：pt-query-digest /var/log/mysql/mysql-slow.log

分析binlog日志：mysqlbinlog mysql-bin.000001 >mysql-bin.000001.sql

pt-query-digest –type=binlog mysql-bin.000001.sql

分析普通日志：pt-query-digest –type=genlog localhost.log

5.3 数据库备份

备份数据库是最基本的工作，也是最重要的，否则后果很严重，你懂得！但由于数据库比较大，上百G，往往备份都很耗费时间，所以就该选择一个效率高的备份策略，对于数据量大的数据库，一般都采用增量备份。常用的备份工具有mysqldump、mysqlhotcopy、xtrabackup等，mysqldump比较适用于小的数据库，因为是逻辑备份，所以备份和恢复耗时都比较长。mysqlhotcopy和xtrabackup是物理备份，备份和恢复速度快，不影响数据库服务情况下进行热拷贝，建议使用xtrabackup，支持增量备份。

Xtrabackup备份工具使用博文：http://www.php.cn/

5.4 数据库修复

有时候MySQL服务器突然断电、异常关闭，会导致表损坏，无法读取表数据。这时就可以用到MySQL自带的两个工具进行修复，myisamchk和mysqlcheck。

myisamchk：只能修復myisam表，需要停止資料庫

常用參數：

-f –force 強制修復，覆蓋舊的臨時文件，一般不使用

-r –recover 恢復模式

-q –quik 快速恢復

-a –analyze 分析表

-o –safe-recover 老的恢復模式，如果- r無法修復，可以使用此參數試試

-F –fast 只檢查沒有正常關閉的表

快速修復weibo資料庫:

# cd /var/lib /mysql/weibo

# myisamchk -r -q *.MYI

mysqlcheck：myisam和innodb表都可以用，不需要停止資料庫，如修復單表，可在資料庫後面添加表名，以空格分割

常用參數：

-a –all-databases 檢查所有的庫

-r –repair 修復表

- c –check 檢查表，預設選項

-a –analyze 分析表

-o –optimize 最佳化表

-q –quik 最快檢查或修復表

-F –fast 只檢查沒有正常關閉的表

快速修復weibo資料庫:

mysqlcheck -r -q -uroot -p123 weibo

5.5 另外，請查看CPU和I/O效能方法

#查看CPU效能

#參數-P是顯示CPU數，ALL為所有，也可以只顯示第幾顆

#查看I/O效能

#參數-m是以M單位顯示，預設K

#%util：當達到100%時，表示I/O很忙。

#await：請求在佇列中等待時間，直接影響read時間。

I/O極限：IOPS（r/s+w/s）,一般在1200左右。 （IOPS，每秒進行讀寫（I/O）操作次數）

I/O頻寬：在順序讀寫模式下SAS硬碟理論值在300M/s左右，SSD硬碟理論值在600M/ s左右。

以上是本人使用MySQL三年來總結的一些主要優化方案，能力有限，有些不太全面，但這些基本能夠滿足中小型企業資料庫需求。由於關係型資料庫初衷設計限制，部分BAT公司海量資料放到關聯式資料庫中，在海量資料查詢與分析上已經達不到更好的效能。因此NoSQL火起來了，非關係型資料庫，大數據量，具有高效能，同時也彌補了關係型資料庫某方面不足，漸漸大多數公司已經將部分業務資料庫存放到NoSQL中，如MongoDB、HBase等。資料儲存方面採用分散式檔案系統，如HDFS、GFS等。海量資料計算分析採用Hadoop、Spark、Storm等。這些都是與維運相關的尖端技術，也是在儲存方面主要學習對象，小夥伴們共同加油！哪位博友有更好的優化方案，歡迎交流哦。

 以上就是詳解MySQL資料庫優化的內容，更多相關內容請關注PHP中文網（www.php.cn）！