搜尋
首頁資料庫mysql教程初識MySQL調優之效能監控

初識MySQL調優之效能監控

Nov 10, 2020 pm 05:18 PM
mysql效能監控

mysql教學欄位介紹認識效能監控。 初識MySQL調優之效能監控

MySQL最佳化主要從其邏輯架構的核心層-分析、最佳化、執行階段著手。

實驗過程中,我使用的MySQL版本是5.7,關於MySQL的快速安裝,可參考 如何在CentOS7下快速安裝MySQL5.7。

MySQL調優,我們先從效能監控開始,找點感覺。

使用show profile

show profile是MySQL的查詢剖析工具。

mysql> show variables like '%profil%';
+------------------------+-------+| Variable_name          | Value |
+------------------------+-------+| have_profiling         | YES   |
| profiling              | OFF   |
| profiling_history_size | 15    |
+------------------------+-------+3 rows in set (0.00 sec)复制代码

可以看到此工具預設是OFF(停用)的,可以透過伺服器變數在目前會話層級動態的修改

mysql> set profiling=1;
Query OK, 0 rows affected, 1 warning (0.00 sec)复制代码

當設定完成之後,在伺服器上執行的所有語句,都會測量其耗費的時間和其他一些查詢執行狀態變更相關的資料。

我們來建立一個表格來示範一下:

mysql> create database mytest;
Query OK, 1 row affected (0.01 sec)

mysql> use mytest;
Database changed
mysql> create table stu(id int(8), name varchar(20));
Query OK, 0 rows affected (0.07 sec)

mysql> insert into stu(id, name) values(1, 'Jack Ma');
Query OK, 1 row affected (0.01 sec)

mysql> insert into stu(id, name) values(1, 'Pony');
Query OK, 1 row affected (0.03 sec)复制代码

查詢一下stu表格:

mysql> select * from stu;
+------+---------+| id   | name    |
+------+---------+|    1 | Jack Ma |
|    2 | Pony    |
+------+---------+2 rows in set (0.00 sec)复制代码

這個2 rows in set (0.00 sec)就是用指令列執行一個sql後給的提示,而且還有執行時間0.00秒。

在mysql的命令列模式下只能顯示兩位小數的時間,可以使用以下命令查看具體的執行時間

mysql> show profile;
+----------------------+----------+| Status               | Duration |
+----------------------+----------+| starting             | 0.000061 |
| checking permissions | 0.000009 |
| Opening tables       | 0.000019 |
| init                 | 0.000020 |
| System lock          | 0.000009 |
| optimizing           | 0.000005 |
| statistics           | 0.000014 |
| preparing            | 0.000011 |
| executing            | 0.000003 |
| Sending data         | 0.000121 |
| end                  | 0.000012 |
| query end            | 0.000011 |
| closing tables       | 0.000011 |
| freeing items        | 0.000021 |
| cleaning up          | 0.000021 |
+----------------------+----------+复制代码

這樣我們可以清晰地看到,Starting System lock系統鎖定、Sending data等等一系列操作分別花了多少時間。

透過上面的示範,我們可以看到,show profile一執行完就給我們回傳每個項目的執行時間,並沒有顯示是針對哪一條sql的,其實它就是列出了最近一條你執行的sql語句的執行時間。

那一定有可以看之前執行過的多條sql語句的情況吧?是的,show profiles

show profiles

mysql> show profiles;
+----------+------------+------------------------------------------------+| Query_ID | Duration   | Query                                          |
+----------+------------+------------------------------------------------+|        1 | 0.02907350 | create table stu(id int(8), name varchar(20))  |
|        2 | 0.00337800 | create database mytest                         |
|        3 | 0.02786850 | SELECT DATABASE()                              |
|        4 | 0.00065300 | show databases                                 |
|        5 | 0.00086700 | show tables                                    |
|        6 | 0.06554900 | create table stu(id int(8), name varchar(20))  |
|        7 | 0.00079850 | insert into stu(1, 'Jack')                     |
|        8 | 0.06901975 | show create table stu                          |
|        9 | 0.00008800 | insert into stu(1, 'Jack')                     |
|       10 | 0.00616000 | insert into stu(id, name) values(1, 'Jack Ma') |
|       11 | 0.03119675 | insert into stu(id, name) values(1, 'Pony')    |
|       12 | 0.03124900 | update stu set id=2 where name='Pony'          |
|       13 | 0.00036975 | select * from stu                              |
|       14 | 0.00034925 | select * from stu                              |
+----------+------------+------------------------------------------------+14 rows in set, 1 warning (0.00 sec)复制代码

列出了執行過的sql語句執行時間,我們可以挑選一個查詢來單獨看,例如我想看insert into stu(id, name) values(1, 'Pony')這條語句的情況,可以用下面的操作:

mysql> show profile for query 11;
+----------------------+----------+
| Status               | Duration |
+----------------------+----------+
| starting             | 0.000072 |
| checking permissions | 0.000009 |
| Opening tables       | 0.000021 |
| init                 | 0.000018 |
| System lock          | 0.000008 |
| update               | 0.000094 |
| end                  | 0.000005 |
| query end            | 0.030815 |
| closing tables       | 0.000036 |
| freeing items        | 0.000081 |
| cleaning up          | 0.000039 |
+----------------------+----------+11 rows in set, 1 warning (0.00 sec)复制代码

也就是說可以根據Query_ID結合show profile來看。

MySQL官網上,關於show profile語句:

SHOW PROFILE [type [, type] ... ]
    [FOR QUERY n]
    [LIMIT row_count [OFFSET offset]]

type: {
    ALL
  | BLOCK IO
  | CONTEXT SWITCHES
  | CPU
  | IPC
  | MEMORY
  | PAGE FAULTS
  | SOURCE
  | SWAPS
}复制代码

show profilefor query n前面已經說過了,下面我列一下每個type是什麼意思。

all 顯示所有效能資訊

block io 顯示區塊io操作的次數

context switches 顯示上下文切換次數,被動和主動

cpu 顯示用戶cpu時間、系統cpu時間

IPC 顯示發送和接受的訊息數量

Memory 暫未實作

#page faults 顯示頁錯誤數量

##source

  • ##顯示原始碼中的函數名稱與位置
swaps
顯示swap的次數

##實操看看

mysql> show profiles;
+----------+------------+-------------------------------+| Query_ID | Duration   | Query                         |
+----------+------------+-------------------------------+|        1 | 0.00009625 | show variable like '%profi%'  |
|        2 | 0.00373950 | show variables like '%profi%' |
|        3 | 0.00025825 | select * from stu             |
+----------+------------+-------------------------------+3 rows in set, 1 warning (0.00 sec)复制代码
我們針對

Query_ID為3的進行檢視

    all
  • #
    mysql> show profile all for query 3\G
    *************************** 1. row ***************************             Status: starting
               Duration: 0.000070
               CPU_user: 0.000000
             CPU_system: 0.000064
      Context_voluntary: 0Context_involuntary: 0
           Block_ops_in: 0
          Block_ops_out: 0
          Messages_sent: 0
      Messages_received: 0
      Page_faults_major: 0
      Page_faults_minor: 0
                  Swaps: 0
        Source_function: NULL
            Source_file: NULL
            Source_line: NULL*************************** 2. row ***************************             Status: checking permissions           Duration: 0.000011
               CPU_user: 0.000000
             CPU_system: 0.000009
      Context_voluntary: 0Context_involuntary: 0
           Block_ops_in: 0
          Block_ops_out: 0
          Messages_sent: 0
      Messages_received: 0
      Page_faults_major: 0
      Page_faults_minor: 0
                  Swaps: 0
        Source_function: check_access
            Source_file: sql_authorization.cc
            Source_line: 809*************************** 3. row ***************************             Status: Opening tables
               Duration: 0.000021
               CPU_user: 0.000000
             CPU_system: 0.000021
      Context_voluntary: 0Context_involuntary: 0
           Block_ops_in: 0
          Block_ops_out: 0
          Messages_sent: 0
      Messages_received: 0
      Page_faults_major: 0
      Page_faults_minor: 0
                  Swaps: 0
        Source_function: open_tables
            Source_file: sql_base.cc
            Source_line: 5793*************************** 4. row ***************************             Status: init           Duration: 0.000019
               CPU_user: 0.000000
             CPU_system: 0.000019
      Context_voluntary: 0Context_involuntary: 0
           Block_ops_in: 0
          Block_ops_out: 0
          Messages_sent: 0
      Messages_received: 0
      Page_faults_major: 0
      Page_faults_minor: 0
                  Swaps: 0
        Source_function: handle_query
            Source_file: sql_select.cc
            Source_line: 128*************************** 5. row ***************************             Status: System lock
               Duration: 0.000009
               CPU_user: 0.000000
             CPU_system: 0.000009
      Context_voluntary: 0Context_involuntary: 0
           Block_ops_in: 0
          Block_ops_out: 0
          Messages_sent: 0
      Messages_received: 0
      Page_faults_major: 0
      Page_faults_minor: 0
                  Swaps: 0
        Source_function: mysql_lock_tables
            Source_file: lock.cc
            Source_line: 330*************************** 6. row ***************************             Status: optimizing           Duration: 0.000005
               CPU_user: 0.000000
             CPU_system: 0.000004
      Context_voluntary: 0Context_involuntary: 0
           Block_ops_in: 0
          Block_ops_out: 0
          Messages_sent: 0
      Messages_received: 0
      Page_faults_major: 0
      Page_faults_minor: 0
                  Swaps: 0
        Source_function: optimize
            Source_file: sql_optimizer.cc
            Source_line: 158*************************** 7. row ***************************             Status: statistics
               Duration: 0.000014
               CPU_user: 0.000000
             CPU_system: 0.000014
      Context_voluntary: 0Context_involuntary: 0
           Block_ops_in: 0
          Block_ops_out: 0
          Messages_sent: 0
      Messages_received: 0
      Page_faults_major: 0
      Page_faults_minor: 0
                  Swaps: 0
        Source_function: optimize
            Source_file: sql_optimizer.cc
            Source_line: 374*************************** 8. row ***************************             Status: preparing           Duration: 0.000011
               CPU_user: 0.000000
             CPU_system: 0.000010
      Context_voluntary: 0Context_involuntary: 0
           Block_ops_in: 0
          Block_ops_out: 0
          Messages_sent: 0
      Messages_received: 0
      Page_faults_major: 0
      Page_faults_minor: 0
                  Swaps: 0
        Source_function: optimize
            Source_file: sql_optimizer.cc
            Source_line: 482*************************** 9. row ***************************             Status: executing           Duration: 0.000004
               CPU_user: 0.000000
             CPU_system: 0.000004
      Context_voluntary: 0Context_involuntary: 0
           Block_ops_in: 0
          Block_ops_out: 0
          Messages_sent: 0
      Messages_received: 0
      Page_faults_major: 0
      Page_faults_minor: 0
                  Swaps: 0
        Source_function: exec
            Source_file: sql_executor.cc
            Source_line: 126*************************** 10. row ***************************             Status: Sending data
               Duration: 0.000050
               CPU_user: 0.000000
             CPU_system: 0.000050
      Context_voluntary: 0Context_involuntary: 0
           Block_ops_in: 0
          Block_ops_out: 0
          Messages_sent: 0
      Messages_received: 0
      Page_faults_major: 0
      Page_faults_minor: 0
                  Swaps: 0
        Source_function: exec
            Source_file: sql_executor.cc
            Source_line: 202*************************** 11. row ***************************             Status: end
               Duration: 0.000005
               CPU_user: 0.000000
             CPU_system: 0.000005
      Context_voluntary: 0Context_involuntary: 0
           Block_ops_in: 0
          Block_ops_out: 0
          Messages_sent: 0
      Messages_received: 0
      Page_faults_major: 0
      Page_faults_minor: 0
                  Swaps: 0
        Source_function: handle_query
            Source_file: sql_select.cc
            Source_line: 206*************************** 12. row ***************************             Status: query end
               Duration: 0.000008
               CPU_user: 0.000000
             CPU_system: 0.000008
      Context_voluntary: 0Context_involuntary: 0
           Block_ops_in: 0
          Block_ops_out: 0
          Messages_sent: 0
      Messages_received: 0
      Page_faults_major: 0
      Page_faults_minor: 0
                  Swaps: 0
        Source_function: mysql_execute_command
            Source_file: sql_parse.cc
            Source_line: 4956*************************** 13. row ***************************             Status: closing tables
               Duration: 0.000008
               CPU_user: 0.000000
             CPU_system: 0.000008
      Context_voluntary: 0Context_involuntary: 0
           Block_ops_in: 0
          Block_ops_out: 0
          Messages_sent: 0
      Messages_received: 0
      Page_faults_major: 0
      Page_faults_minor: 0
                  Swaps: 0
        Source_function: mysql_execute_command
            Source_file: sql_parse.cc
            Source_line: 5009*************************** 14. row ***************************             Status: freeing items           Duration: 0.000013
               CPU_user: 0.000000
             CPU_system: 0.000013
      Context_voluntary: 0Context_involuntary: 0
           Block_ops_in: 0
          Block_ops_out: 0
          Messages_sent: 0
      Messages_received: 0
      Page_faults_major: 0
      Page_faults_minor: 0
                  Swaps: 0
        Source_function: mysql_parse
            Source_file: sql_parse.cc
            Source_line: 5622*************************** 15. row ***************************             Status: cleaning up           Duration: 0.000014
               CPU_user: 0.000000
             CPU_system: 0.000013
      Context_voluntary: 0Context_involuntary: 0
           Block_ops_in: 0
          Block_ops_out: 0
          Messages_sent: 0
      Messages_received: 0
      Page_faults_major: 0
      Page_faults_minor: 0
                  Swaps: 0
        Source_function: dispatch_command
            Source_file: sql_parse.cc
            Source_line: 193115 rows in set, 1 warning (0.00 sec)复制代码
查詢最後的
\G

的目的是格式化顯示查詢結果。

這裡我們可以看到,show profile all可以看到所有的效能資訊。

  • block io
  • mysql> show profile block io for query 3;
    +----------------------+----------+--------------+---------------+| Status               | Duration | Block_ops_in | Block_ops_out |
    +----------------------+----------+--------------+---------------+| starting             | 0.000070 |            0 |             0 |
    | checking permissions | 0.000011 |            0 |             0 |
    | Opening tables       | 0.000021 |            0 |             0 |
    | init                 | 0.000019 |            0 |             0 |
    | System lock          | 0.000009 |            0 |             0 |
    | optimizing           | 0.000005 |            0 |             0 |
    | statistics           | 0.000014 |            0 |             0 |
    | preparing            | 0.000011 |            0 |             0 |
    | executing            | 0.000004 |            0 |             0 |
    | Sending data         | 0.000050 |            0 |             0 |
    | end                  | 0.000005 |            0 |             0 |
    | query end            | 0.000008 |            0 |             0 |
    | closing tables       | 0.000008 |            0 |             0 |
    | freeing items        | 0.000013 |            0 |             0 |
    | cleaning up          | 0.000014 |            0 |             0 |
    +----------------------+----------+--------------+---------------+15 rows in set, 1 warning (0.00 sec)复制代码
    最後兩列就表示區塊io操作的次數。
  • 下面只把各個type的語法列出來,示範效果不在此贅述了。
  • show profile context switches for query 3
  • show profile cpu for query 3
  • #show profile ipc for query 3

show profile page faults for query 3

show profile source for query 3

#show profile swaps for query 3

#show profile

用起來感覺很酷啊,他能幫我們看到sql語句各部分的執行時間,這對我們定位線上sql執行慢的問題很有幫助啊,but,官網上有這麼一段話:

Note

The SHOW PROFILE and SHOW PROFILES statements are deprecated and will be removed in a future MySQL release. Use the Performance Schema instead;

注意######不推薦使用SHOW PROFILE和SHOW PROFILES語句,並將在以後的SQL版本中將其刪除。 #########改用Performance Schema;######好吧,你說刪除就刪除。但在MySQL刪除###show profile###之前,我們還是可以用的,畢竟很香嘛。 ######既然後續版本會用###Performance Schema###,那我們還看下它是何方神聖吧! ###

Performance Schema

MySQL的performance schema用于监控MySQL server在一个较低级别的运行过程中的资源消耗、资源等待等情况。使用performance schema可以更加容易的监控MySQL。

在MySQL的5.7版本中,性能模式是默认开启的,如果想要显式的关闭的话需要修改配置文件,不能直接进行修改,会报错Variable 'performance_schema' is a read only variable。

mysql> show variables like 'performance_schema';
+--------------------+-------+| Variable_name      | Value |
+--------------------+-------+| performance_schema | ON    |
+--------------------+-------+mysql> set performance_schema=0;
ERROR 1238 (HY000): Variable 'performance_schema' is a read only variable复制代码

在配置文件中修改performance_schema的属性值,on表示开启,off表示关闭

[mysqld]
performance_schema=ON复制代码

看下performance_schema数据库有哪些功能表:

mysql> use performance_schema;
mysql> show tables;复制代码

一共有87张表,分别存储着相关的信息。

可以通过show create table tablename来查看创建表的时候的表结构:

mysql> show create table threads\G
*************************** 1. row ***************************       Table: threadsCreate Table: CREATE TABLE `threads` (  `THREAD_ID` bigint(20) unsigned NOT NULL,  `NAME` varchar(128) NOT NULL,  `TYPE` varchar(10) NOT NULL,  `PROCESSLIST_ID` bigint(20) unsigned DEFAULT NULL,  `PROCESSLIST_USER` varchar(32) DEFAULT NULL,  `PROCESSLIST_HOST` varchar(60) DEFAULT NULL,  `PROCESSLIST_DB` varchar(64) DEFAULT NULL,  `PROCESSLIST_COMMAND` varchar(16) DEFAULT NULL,  `PROCESSLIST_TIME` bigint(20) DEFAULT NULL,  `PROCESSLIST_STATE` varchar(64) DEFAULT NULL,  `PROCESSLIST_INFO` longtext,  `PARENT_THREAD_ID` bigint(20) unsigned DEFAULT NULL,  `ROLE` varchar(64) DEFAULT NULL,  `INSTRUMENTED` enum('YES','NO') NOT NULL,  `HISTORY` enum('YES','NO') NOT NULL,  `CONNECTION_TYPE` varchar(16) DEFAULT NULL,  `THREAD_OS_ID` bigint(20) unsigned DEFAULT NULL) ENGINE=PERFORMANCE_SCHEMA DEFAULT CHARSET=utf81 row in set (0.00 sec)复制代码

我一看到threads这个表名,还有THREAD_IDPROCESSLIST_ID等等字段,就感觉这些比较重要啊有木有!

再来看一下setup_consumers这个表:

mysql> show create table setup_consumers;
+-----------------+--------------------------------------------------------------------------------------------------------------------------------------------------------+| Table           | Create Table                                                                                                                                           |
+-----------------+--------------------------------------------------------------------------------------------------------------------------------------------------------+| setup_consumers | CREATE TABLE `setup_consumers` (  `NAME` varchar(64) NOT NULL,  `ENABLED` enum('YES','NO') NOT NULL) ENGINE=PERFORMANCE_SCHEMA DEFAULT CHARSET=utf8 |
+-----------------+--------------------------------------------------------------------------------------------------------------------------------------------------------+1 row in set (0.00 sec)复制代码

这个consumer总感觉似曾相识啊!

其实,想要搞明白后续的内容,我们需要理解两个基本概念:

  • instruments 生产者,用于采集mysql中各种各样的操作产生的事件信息,对应配置表中的配置项我们可以称为监控采集配置项。
  • consumers 消费者,对应的消费者表用于存储来自instruments采集的数据,对应配置表中的配置项我们可以称为消费存储配置项。

performance_schema表的分类

performance_schema库下的表可以按照监视不同的纬度就行分组。

--语句事件记录表,这些表记录了语句事件信息,当前语句事件表events_statements_current、历史语句事件表events_statements_history和长语句历史事件表events_statements_history_long、以及聚合后的摘要表summary,其中,summary表还可以根据帐号(account),主机(host),程序(program),线程(thread),用户(user)和全局(global)再进行细分)show tables like '%statement%';--等待事件记录表,与语句事件类型的相关记录表类似:show tables like '%wait%';--阶段事件记录表,记录语句执行的阶段事件的表show tables like '%stage%';--事务事件记录表,记录事务相关的事件的表show tables like '%transaction%';--监控文件系统层调用的表show tables like '%file%';--监视内存使用的表show tables like '%memory%';--动态对performance_schema进行配置的配置表show tables like '%setup%';复制代码

来,那一个事务相关的来瞅一眼:

mysql> show tables like '%transaction%';
+------------------------------------------------------+| Tables_in_performance_schema (%transaction%)         |
+------------------------------------------------------+| events_transactions_current                          |
| events_transactions_history                          |
| events_transactions_history_long                     |
| events_transactions_summary_by_account_by_event_name |
| events_transactions_summary_by_host_by_event_name    |
| events_transactions_summary_by_thread_by_event_name  |
| events_transactions_summary_by_user_by_event_name    |
| events_transactions_summary_global_by_event_name     |
+------------------------------------------------------+8 rows in set (0.00 sec)复制代码

performance_schema的简单配置与使用

数据库刚刚初始化并启动时,并非所有instruments(事件采集项,在采集项的配置表中每一项都有一个开关字段,或为YES,或为NO)和consumers(与采集项类似,也有一个对应的事件类型保存表配置项,为YES就表示对应的表保存性能数据,为NO就表示对应的表不保存性能数据)都启用了,所以默认不会收集所有的事件。

可能你需要检测的事件并没有打开,需要进行设置,可以使用如下两个语句打开对应的instruments和consumers(行计数可能会因MySQL版本而异)。

打开等待事件的采集器配置项开关,需要修改setup_instruments配置表中对应的采集器配置项

mysql> UPDATE setup_instruments SET ENABLED = 'YES', TIMED = 'YES' where name like 'wait%';
Query OK, 267 rows affected (0.03 sec)
Rows matched: 321  Changed: 267  Warnings: 0复制代码

打开等待事件的保存表配置开关,修改setup_consumers配置表中对应的配置项

mysql> UPDATE setup_consumers SET ENABLED = 'YES' where name like '%wait%';
Query OK, 3 rows affected (0.04 sec)
Rows matched: 3  Changed: 3  Warnings: 0复制代码

当配置完成之后可以查看当前server正在做什么。

  1. 可以通过查询events_waits_current表来得知,该表中每个线程只包含一行数据,用于显示每个线程的最新监视事件:

释义:

该信息表示线程id为3的线程正在等待buf_dblwr_mutex锁,等待时间为69917。
属性说明:
	id:事件来自哪个线程,事件编号是多少
	event_name:表示检测到的具体的内容
	source:表示这个检测代码在哪个源文件中以及行号
	timer_start:表示该事件的开始时间
	timer_end:表示该事件的结束时间
	timer_wait:表示该事件总的花费时间
注意:_current表中每个线程只保留一条记录,一旦线程完成工作,该表中不会再记录该线程的事件信息。复制代码
  1. _history表中记录每个线程应该执行完成的事件信息,但每个线程的事件信息只会记录10条,再多就会被覆盖,(下面的演示可以看到每个线程只有10条记录)。_history_long表中记录所有线程的事件信息,但总记录数量是10000,超过就会被覆盖掉
mysql> mysql> select thread_id,event_id,event_name,timer_wait from events_waits_history order by thread_id limit 21;
+-----------+----------+------------------------------------------+------------+| thread_id | event_id | event_name                               | timer_wait |
+-----------+----------+------------------------------------------+------------+|         3 |     4042 | wait/synch/mutex/innodb/buf_pool_mutex   |      47785 |
|         3 |     4043 | wait/synch/mutex/innodb/flush_list_mutex |      43761 |
|         3 |     4044 | wait/synch/mutex/innodb/buf_pool_mutex   |      58851 |
|         3 |     4045 | wait/synch/mutex/innodb/buf_dblwr_mutex  |      73438 |
|         3 |     4046 | wait/synch/mutex/innodb/buf_pool_mutex   |     222829 |
|         3 |     4047 | wait/synch/mutex/innodb/buf_pool_mutex   |      42755 |
|         3 |     4048 | wait/synch/mutex/innodb/flush_list_mutex |      44767 |
|         3 |     4049 | wait/synch/mutex/innodb/buf_pool_mutex   |      59857 |
|         3 |     4050 | wait/synch/mutex/innodb/buf_dblwr_mutex  |      72432 |
|         3 |     4041 | wait/synch/mutex/innodb/buf_pool_mutex   |     243452 |
|        17 |     2442 | wait/synch/mutex/innodb/sync_array_mutex |      74947 |
|        17 |     2440 | wait/synch/mutex/innodb/sync_array_mutex |      82492 |
|        17 |     2439 | wait/synch/mutex/innodb/sync_array_mutex |     458233 |
|        17 |     2438 | wait/synch/mutex/innodb/log_sys_mutex    |     239428 |
|        17 |     2437 | wait/synch/mutex/innodb/sync_array_mutex |      85510 |
|        17 |     2446 | wait/synch/mutex/innodb/sync_array_mutex |      84504 |
|        17 |     2445 | wait/synch/mutex/innodb/sync_array_mutex |      77462 |
|        17 |     2444 | wait/synch/mutex/innodb/log_sys_mutex    |     238422 |
|        17 |     2443 | wait/synch/mutex/innodb/sync_array_mutex |      83498 |
|        17 |     2441 | wait/synch/mutex/innodb/log_sys_mutex    |     229368 |
|        19 |     7281 | wait/synch/mutex/innodb/flush_list_mutex |      43761 |
+-----------+----------+------------------------------------------+------------+21 rows in set (0.00 sec)复制代码
  1. summary表提供所有事件的汇总信息,该组中的表以不同的方式汇总事件数据(如:按用户,按主机,按线程等等)。

例如:要查看哪些instruments占用最多的时间,可以通过对events_waits_summary_global_by_event_name表的COUNT_STAR或SUM_TIMER_WAIT列进行查询(这两列是对事件的记录数执行COUNT(*)、事件记录的TIMER_WAIT列执行SUM(TIMER_WAIT)统计而来)

mysql> SELECT EVENT_NAME,COUNT_STAR FROM events_waits_summary_global_by_event_name  ORDER BY COUNT_STAR DESC LIMIT 10;
+-----------------------------------------------+------------+| EVENT_NAME                                    | COUNT_STAR |
+-----------------------------------------------+------------+| wait/synch/mutex/innodb/buf_pool_mutex        |       3357 |
| wait/synch/mutex/innodb/log_sys_mutex         |       3357 |
| wait/synch/mutex/innodb/sync_array_mutex      |       2241 |
| wait/synch/mutex/innodb/flush_list_mutex      |       2238 |
| wait/io/file/sql/FRM                          |       1590 |
| wait/synch/mutex/innodb/log_flush_order_mutex |       1119 |
| wait/synch/mutex/innodb/log_sys_write_mutex   |       1119 |
| wait/synch/mutex/innodb/fil_system_mutex      |       1119 |
| wait/synch/mutex/innodb/dict_sys_mutex        |       1119 |
| wait/synch/mutex/innodb/buf_dblwr_mutex       |       1119 |
+-----------------------------------------------+------------+10 rows in set (0.10 sec)复制代码
  1. instance表记录了哪些类型的对象会被检测。这些对象在被server使用时,在该表中将会产生一条事件记录。

例如,file_instances表列出了文件I/O操作及其关联文件名

mysql> select * from file_instances limit 10;
+----------------------------------------+--------------------------------------+------------+| FILE_NAME                              | EVENT_NAME                           | OPEN_COUNT |
+----------------------------------------+--------------------------------------+------------+| /usr/share/mysql/english/errmsg.sys    | wait/io/file/sql/ERRMSG              |          0 |
| /usr/share/mysql/charsets/Index.xml    | wait/io/file/mysys/charset           |          0 |
| /var/lib/mysql/ibdata1                 | wait/io/file/innodb/innodb_data_file |          3 |
| /var/lib/mysql/ib_logfile0             | wait/io/file/innodb/innodb_log_file  |          2 |
| /var/lib/mysql/ib_logfile1             | wait/io/file/innodb/innodb_log_file  |          2 |
| /var/lib/mysql/mysql/engine_cost.ibd   | wait/io/file/innodb/innodb_data_file |          3 |
| /var/lib/mysql/mysql/gtid_executed.ibd | wait/io/file/innodb/innodb_data_file |          3 |
| /var/lib/mysql/mysql/help_category.ibd | wait/io/file/innodb/innodb_data_file |          3 |
| /var/lib/mysql/mysql/help_keyword.ibd  | wait/io/file/innodb/innodb_data_file |          3 |
| /var/lib/mysql/mysql/help_relation.ibd | wait/io/file/innodb/innodb_data_file |          3 |
+----------------------------------------+--------------------------------------+------------+10 rows in set (0.00 sec)复制代码

常用配置项的参数说明

  1. 启动选项
performance_schema_consumer_events_statements_current=TRUE#是否在mysql server启动时就开启events_statements_current表的记录功能(该表记录当前的语句事件信息),启动之后也可以在setup_consumers表中使用UPDATE语句进行动态更新setup_consumers配置表中的events_statements_current配置项,默认值为TRUEperformance_schema_consumer_events_statements_history=TRUE#与performance_schema_consumer_events_statements_current选项类似,但该选项是用于配置是否记录语句事件短历史信息,默认为TRUEperformance_schema_consumer_events_stages_history_long=FALSE#与performance_schema_consumer_events_statements_current选项类似,但该选项是用于配置是否记录语句事件长历史信息,默认为FALSE除了statement(语句)事件之外,还支持:wait(等待)事件、state(阶段)事件、transaction(事务)事件,他们与statement事件一样都有三个启动项分别进行配置,但这些等待事件默认未启用,如果需要在MySQL Server启动时一同启动,则通常需要写进my.cnf配置文件中
performance_schema_consumer_global_instrumentation=TRUE
是否在MySQL Server启动时就开启全局表(如:mutex_instances、rwlock_instances、cond_instances、file_instances、users、hostsaccounts、socket_summary_by_event_name、file_summary_by_instance等大部分的全局对象计数统计和事件汇总统计信息表 )的记录功能,启动之后也可以在setup_consumers表中使用UPDATE语句进行动态更新全局配置项
默认值为TRUEperformance_schema_consumer_statements_digest=TRUE是否在MySQL Server启动时就开启events_statements_summary_by_digest 表的记录功能,启动之后也可以在setup_consumers表中使用UPDATE语句进行动态更新digest配置项
默认值为TRUEperformance_schema_consumer_thread_instrumentation=TRUE是否在MySQL Server启动时就开启

events_xxx_summary_by_yyy_by_event_name表的记录功能,启动之后也可以在setup_consumers表中使用UPDATE语句进行动态更新线程配置项
默认值为TRUEperformance_schema_instrument[=name]
是否在MySQL Server启动时就启用某些采集器,由于instruments配置项多达数千个,所以该配置项支持key-value模式,还支持%号进行通配等,如下:# [=name]可以指定为具体的Instruments名称(但是这样如果有多个需要指定的时候,就需要使用该选项多次),也可以使用通配符,可以指定instruments相同的前缀+通配符,也可以使用%代表所有的instruments## 指定开启单个instruments--performance-schema-instrument= 'instrument_name=value'## 使用通配符指定开启多个instruments--performance-schema-instrument= 'wait/synch/cond/%=COUNTED'## 开关所有的instruments--performance-schema-instrument= '%=ON'--performance-schema-instrument= '%=OFF'注意,这些启动选项要生效的前提是,需要设置performance_schema=ON。另外,这些启动选项虽然无法使用show variables语句查看,但我们可以通过setup_instruments和setup_consumers表查询这些选项指定的值。复制代码
  1. 系统变量
show variables like '%performance_schema%';
--重要的属性解释
performance_schema=ON
/*
控制performance_schema功能的开关,要使用MySQL的performance_schema,需要在mysqld启动时启用,以启用事件收集功能
该参数在5.7.x之前支持performance_schema的版本中默认关闭,5.7.x版本开始默认开启
注意:如果mysqld在初始化performance_schema时发现无法分配任何相关的内部缓冲区,则performance_schema将自动禁用,并将performance_schema设置为OFF
*/

performance_schema_digests_size=10000
/*
控制events_statements_summary_by_digest表中的最大行数。如果产生的语句摘要信息超过此最大值,便无法继续存入该表,此时performance_schema会增加状态变量
*/
performance_schema_events_statements_history_long_size=10000
/*
控制events_statements_history_long表中的最大行数,该参数控制所有会话在events_statements_history_long表中能够存放的总事件记录数,超过这个限制之后,最早的记录将被覆盖
全局变量,只读变量,整型值,5.6.3版本引入 * 5.6.x版本中,5.6.5及其之前的版本默认为10000,5.6.6及其之后的版本默认值为-1,通常情况下,自动计算的值都是10000 * 5.7.x版本中,默认值为-1,通常情况下,自动计算的值都是10000
*/
performance_schema_events_statements_history_size=10
/*
控制events_statements_history表中单个线程(会话)的最大行数,该参数控制单个会话在events_statements_history表中能够存放的事件记录数,超过这个限制之后,单个会话最早的记录将被覆盖
全局变量,只读变量,整型值,5.6.3版本引入 * 5.6.x版本中,5.6.5及其之前的版本默认为10,5.6.6及其之后的版本默认值为-1,通常情况下,自动计算的值都是10 * 5.7.x版本中,默认值为-1,通常情况下,自动计算的值都是10
除了statement(语句)事件之外,wait(等待)事件、state(阶段)事件、transaction(事务)事件,他们与statement事件一样都有三个参数分别进行存储限制配置,有兴趣的同学自行研究,这里不再赘述
*/
performance_schema_max_digest_length=1024
/*
用于控制标准化形式的SQL语句文本在存入performance_schema时的限制长度,该变量与max_digest_length变量相关(max_digest_length变量含义请自行查阅相关资料)
全局变量,只读变量,默认值1024字节,整型值,取值范围0~1048576
*/
performance_schema_max_sql_text_length=1024
/*
控制存入events_statements_current,events_statements_history和events_statements_history_long语句事件表中的SQL_TEXT列的最大SQL长度字节数。 超出系统变量performance_schema_max_sql_text_length的部分将被丢弃,不会记录,一般情况下不需要调整该参数,除非被截断的部分与其他SQL比起来有很大差异
全局变量,只读变量,整型值,默认值为1024字节,取值范围为0~1048576,5.7.6版本引入
降低系统变量performance_schema_max_sql_text_length值可以减少内存使用,但如果汇总的SQL中,被截断部分有较大差异,会导致没有办法再对这些有较大差异的SQL进行区分。 增加该系统变量值会增加内存使用,但对于汇总SQL来讲可以更精准地区分不同的部分。
*/复制代码

比较有意义:performance_schema实践操作

基本了解了表的相关信息之后,可以通过这些表进行实际的查询操作来进行实际的分析。

--1、哪类的SQL执行最多?SELECT DIGEST_TEXT,COUNT_STAR,FIRST_SEEN,LAST_SEEN FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC--2、哪类SQL的平均响应时间最多?SELECT DIGEST_TEXT,AVG_TIMER_WAIT FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC--3、哪类SQL排序记录数最多?SELECT DIGEST_TEXT,SUM_SORT_ROWS FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC--4、哪类SQL扫描记录数最多?SELECT DIGEST_TEXT,SUM_ROWS_EXAMINED FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC--5、哪类SQL使用临时表最多?SELECT DIGEST_TEXT,SUM_CREATED_TMP_TABLES,SUM_CREATED_TMP_DISK_TABLES FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC--6、哪类SQL返回结果集最多?SELECT DIGEST_TEXT,SUM_ROWS_SENT FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC--7、哪个表物理IO最多?SELECT file_name,event_name,SUM_NUMBER_OF_BYTES_READ,SUM_NUMBER_OF_BYTES_WRITE FROM file_summary_by_instance ORDER BY SUM_NUMBER_OF_BYTES_READ + SUM_NUMBER_OF_BYTES_WRITE DESC--8、哪个表逻辑IO最多?SELECT object_name,COUNT_READ,COUNT_WRITE,COUNT_FETCH,SUM_TIMER_WAIT FROM table_io_waits_summary_by_table ORDER BY sum_timer_wait DESC--9、哪个索引访问最多?SELECT OBJECT_NAME,INDEX_NAME,COUNT_FETCH,COUNT_INSERT,COUNT_UPDATE,COUNT_DELETE FROM table_io_waits_summary_by_index_usage ORDER BY SUM_TIMER_WAIT DESC--10、哪个索引从来没有用过?SELECT OBJECT_SCHEMA,OBJECT_NAME,INDEX_NAME FROM table_io_waits_summary_by_index_usage WHERE INDEX_NAME IS NOT NULL AND COUNT_STAR = 0 AND OBJECT_SCHEMA  'mysql' ORDER BY OBJECT_SCHEMA,OBJECT_NAME;--11、哪个等待事件消耗时间最多?SELECT EVENT_NAME,COUNT_STAR,SUM_TIMER_WAIT,AVG_TIMER_WAIT FROM events_waits_summary_global_by_event_name WHERE event_name != 'idle' ORDER BY SUM_TIMER_WAIT DESC--12-1、剖析某条SQL的执行情况,包括statement信息,stege信息,wait信息SELECT EVENT_ID,sql_text FROM events_statements_history WHERE sql_text LIKE '%count(*)%';--12-2、查看每个阶段的时间消耗SELECT event_id,EVENT_NAME,SOURCE,TIMER_END - TIMER_START FROM events_stages_history_long WHERE NESTING_EVENT_ID = 1553;--12-3、查看每个阶段的锁等待情况SELECT event_id,event_name,source,timer_wait,object_name,index_name,operation,nesting_event_id FROM events_waits_history_longWHERE nesting_event_id = 1553;复制代码

关于Performance Schema的东西,我们还可以参考官网继续进行详细的了解。

我们来思考一下,否可以做一个系统出来,通过查询Performance Schema的表的一些信息,并将其展示到web端,这样我们就可以进行可视化监控了?

show processlist

使用show processlist查看连接的线程个数,来观察是否有大量线程处于不正常的状态或者其他不正常的特征。

mysql> show processlist;
+----+------+-----------+--------------------+---------+------+----------+------------------+| Id | User | Host      | db                 | Command | Time | State    | Info             |
+----+------+-----------+--------------------+---------+------+----------+------------------+|  6 | root | localhost | performance_schema | Query   |    0 | starting | show processlist |
+----+------+-----------+--------------------+---------+------+----------+------------------+1 row in set (0.00 sec)复制代码

属性说明:

id session id

user 操作的用户

host 操作的主机

db 操作的数据库

command 当前状态

  • sleep:线程正在等待客户端发送新的请求
  • query:线程正在执行查询或正在将结果发送给客户端
  • locked:在mysql的服务层,该线程正在等待表锁
  • analyzing and statistics:线程正在收集存储引擎的统计信息,并生成查询的执行计划
  • Copying to tmp table:线程正在执行查询,并且将其结果集都复制到一个临时表中
  • sorting result:线程正在对结果集进行排序
  • sending data:线程可能在多个状态之间传送数据,或者在生成结果集或者向客户端返回数据

info 详细的sql语句

time 相应命令执行时间

state 命令执行状态

小结

MySQL调优之性能监控:

  1. show profile 使用show profile查询剖析工具,可以指定具体的type
  2. performance schema 使用performance schema来更加容易的监控mysql
  3. show processlist 使用show processlist查看连接的线程个数,来观察是否有大量线程处于不正常的状态或者其他不正常的特征

更多相关免费学习推荐:mysql教程(视频)

以上是初識MySQL調優之效能監控的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:juejin。如有侵權,請聯絡admin@php.cn刪除
MySQL與Sqlite有何不同?MySQL與Sqlite有何不同?Apr 24, 2025 am 12:12 AM

MySQL和SQLite的主要區別在於設計理念和使用場景:1.MySQL適用於大型應用和企業級解決方案,支持高性能和高並發;2.SQLite適合移動應用和桌面軟件,輕量級且易於嵌入。

MySQL中的索引是什麼?它們如何提高性能?MySQL中的索引是什麼?它們如何提高性能?Apr 24, 2025 am 12:09 AM

MySQL中的索引是數據庫表中一列或多列的有序結構,用於加速數據檢索。 1)索引通過減少掃描數據量提升查詢速度。 2)B-Tree索引利用平衡樹結構,適合範圍查詢和排序。 3)創建索引使用CREATEINDEX語句,如CREATEINDEXidx_customer_idONorders(customer_id)。 4)複合索引可優化多列查詢,如CREATEINDEXidx_customer_orderONorders(customer_id,order_date)。 5)使用EXPLAIN分析查詢計劃,避

說明如何使用MySQL中的交易來確保數據一致性。說明如何使用MySQL中的交易來確保數據一致性。Apr 24, 2025 am 12:09 AM

在MySQL中使用事務可以確保數據一致性。 1)通過STARTTRANSACTION開始事務,執行SQL操作後用COMMIT提交或ROLLBACK回滾。 2)使用SAVEPOINT可以設置保存點,允許部分回滾。 3)性能優化建議包括縮短事務時間、避免大規模查詢和合理使用隔離級別。

在哪些情況下,您可以選擇PostgreSQL而不是MySQL?在哪些情況下,您可以選擇PostgreSQL而不是MySQL?Apr 24, 2025 am 12:07 AM

選擇PostgreSQL而非MySQL的場景包括:1)需要復雜查詢和高級SQL功能,2)要求嚴格的數據完整性和ACID遵從性,3)需要高級空間功能,4)處理大數據集時需要高性能。 PostgreSQL在這些方面表現出色,適合需要復雜數據處理和高數據完整性的項目。

如何保護MySQL數據庫?如何保護MySQL數據庫?Apr 24, 2025 am 12:04 AM

MySQL數據庫的安全可以通過以下措施實現:1.用戶權限管理:通過CREATEUSER和GRANT命令嚴格控制訪問權限。 2.加密傳輸:配置SSL/TLS確保數據傳輸安全。 3.數據庫備份和恢復:使用mysqldump或mysqlpump定期備份數據。 4.高級安全策略:使用防火牆限制訪問,並啟用審計日誌記錄操作。 5.性能優化與最佳實踐:通過索引和查詢優化以及定期維護兼顧安全和性能。

您可以使用哪些工具來監視MySQL性能?您可以使用哪些工具來監視MySQL性能?Apr 23, 2025 am 12:21 AM

如何有效監控MySQL性能?使用mysqladmin、SHOWGLOBALSTATUS、PerconaMonitoringandManagement(PMM)和MySQLEnterpriseMonitor等工具。 1.使用mysqladmin查看連接數。 2.用SHOWGLOBALSTATUS查看查詢數。 3.PMM提供詳細性能數據和圖形化界面。 4.MySQLEnterpriseMonitor提供豐富的監控功能和報警機制。

MySQL與SQL Server有何不同?MySQL與SQL Server有何不同?Apr 23, 2025 am 12:20 AM

MySQL和SQLServer的区别在于:1)MySQL是开源的,适用于Web和嵌入式系统,2)SQLServer是微软的商业产品,适用于企业级应用。两者在存储引擎、性能优化和应用场景上有显著差异,选择时需考虑项目规模和未来扩展性。

在哪些情況下,您可以選擇SQL Server而不是MySQL?在哪些情況下,您可以選擇SQL Server而不是MySQL?Apr 23, 2025 am 12:20 AM

在需要高可用性、高級安全性和良好集成性的企業級應用場景下,應選擇SQLServer而不是MySQL。 1)SQLServer提供企業級功能,如高可用性和高級安全性。 2)它與微軟生態系統如VisualStudio和PowerBI緊密集成。 3)SQLServer在性能優化方面表現出色,支持內存優化表和列存儲索引。

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

SublimeText3 英文版

SublimeText3 英文版

推薦:為Win版本,支援程式碼提示!

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版

WebStorm Mac版

WebStorm Mac版

好用的JavaScript開發工具

mPDF

mPDF

mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),