Detaillierte Einführung in die pt-query-digest-Analyse langsamer Abfrageprotokolle von MySQL

In diesem Artikel werden hauptsächlich relevante Informationen zur PT-Query-Digest-Analyse langsamer Abfragen in MySQL vorgestellt. Die Einführung im Artikel ist sehr detailliert und hat einen gewissen Referenzwert für alle, die dies benötigen Schauen wir uns das unten gemeinsam an.

1. Einführungpt-query-digest ist ein Tool zur Analyse langsamer MySQL-Abfragen Binlog-, allgemeine Protokoll-, Slowlog- oder MySQL-Protokolldaten, die über SHOWPROCESSLIST oder tcpdump erfasst werden. Die Analyseergebnisse können in eine Datei ausgegeben werden. Der Analyseprozess besteht darin, zunächst die Bedingungen der Abfrageanweisung zu parametrisieren und dann Gruppenstatistiken für die parametrisierten Abfragen durchzuführen, um die Ausführungszeit, die Anzahl und den Anteil jeder Abfrage zu berechnen Durch die Analyse werden Probleme erkannt und optimiert.

2. Installieren Sie das pt-query-digest2.perl-Modul

3. Installationsschritte

yum install -y perl-CPAN perl-Time-HiRes

Methode 1: RPM-Installation

Das Tool-Installationsverzeichnis ist: /usr/bin

cd /usr/local/src
wget percona.com/get/percona-toolkit.rpm
yum install -y percona-toolkit.rpm

Methode 2: Quellcode Installation

Das Tool-Installationsverzeichnis ist: /usr/local/percona-toolkit/bin

cd /usr/local/src
wget percona.com/get/percona-toolkit.tar.gz
tar zxf percona-toolkit.tar.gz
cd percona-toolkit-2.2.19
perl Makefile.PL PREFIX=/usr/local/percona-toolkit
make && make install

4. Einführung in die Verwendung jedes Tools

(1) Analysestatistik für langsame Abfrageprotokolle

(2) Serverzusammenfassung

pt-query-digest /usr/local/mysql/data/slow.log

(3) Server-Festplattenüberwachung

pt-summary

(4) MySQL Zusammenfassung des Servicestatus

pt-diskstats

pt-mysql-summary -- --user=root --password=root

3. pt-query-digest Syntax und wichtige Optionen

pt-query -digest [OPTIONEN] [ DATEIEN] [DSN]
--create-review-table Wenn Sie den Parameter --review verwenden, um die Analyseergebnisse in einer Tabelle auszugeben, erfolgt dies automatisch erstellt, wenn keine Tabelle vorhanden ist.
--create-history-table Wenn Sie den Parameter --history zum Ausgeben der Analyseergebnisse in eine Tabelle verwenden, wird diese automatisch erstellt, wenn keine Tabelle vorhanden ist.
--filter Passen Sie die langsame Eingabeabfrage entsprechend der angegebenen
4. Zeichenfolge

   an, filtern Sie sie und analysieren Sie sie dann

- -limit Begrenzt den Prozentsatz oder die Menge der Ausgabeergebnisse. Der Standardwert ist 20, was bedeutet, dass die 20 langsamsten Anweisungen ausgegeben werden. Wenn er 50 % beträgt, wird nach der Gesamtantwortzeit und der Ausgabe sortiert wird abgeschnitten, wenn die Summe 50 % erreicht.
--Host-MySQL-Serveradresse
--Benutzer-MySQL-Benutzername
-- Passwort MySQL-Benutzerpasswort
--history Speichern Sie die Analyseergebnisse in der Tabelle. Wenn Sie das nächste Mal --history verwenden, ist dieselbe Anweisung vorhanden und die Abfrage Wenn sich das Zeitintervall von dem in der Verlaufstabelle unterscheidet, wird es in der Datentabelle aufgezeichnet. Sie können die historischen Änderungen eines bestimmten Abfragetyps vergleichen, indem Sie dieselbe CHECKSUM abfragen.
--review Speichern Sie die Analyseergebnisse in der Tabelle. Diese Analyse parametrisiert nur die Abfragebedingungen, was relativ einfach ist. Wenn --review das nächste Mal verwendet wird und dieselbe Aussageanalyse vorhanden ist, wird sie nicht in der Datentabelle aufgezeichnet.
--Ausgabeanalyseergebnis-Ausgabetyp, der Wert kann sein: Bericht (Standardanalysebericht), Slowlog (MySQL-langsames Protokoll),
11. json

    , json-anon, Allgemein Verwenden Sie den Bericht, um das Lesen zu erleichtern.

--da der Zeitpunkt ist, ab dem mit der Analyse begonnen werden soll, ist der Wert eine Zeichenfolge, die ein angegebener Zeitpunkt im Format „jjjj-mm-tt [hh:mm.]“ sein kann :ss]" , oder es kann ein einfacher Zeitwert sein: s (Sekunden), h (Stunden), m (Minuten), d (Tage), zum Beispiel bedeutet 12h, dass die Statistik vor 12 Stunden begonnen hat.
--until Deadline, kombiniert mit --da kann langsame Abfragen innerhalb eines bestimmten Zeitraums analysieren.

13. 
    

4. Analyse der pt-query-digest-Ausgabeergebnisse

Teil 1: Statistische Gesamtergebnisse

Gesamt: Wie viele Abfragen gibt es insgesamt

Zeitbereich: Der Zeitbereich der Abfrageausführung

unique: unique Anzahl der Abfragen, d. h. wie viele verschiedene Abfragen es nach der Parametrisierung der Abfragebedingungen gibt

total: total min: Minimum max: Maximum avg: Average

95 %: Ordnen Sie alle Werte von klein nach groß an, die Zahl liegt bei 95 %, diese Zahl hat im Allgemeinen den größten Referenzwert

Median: Median, ordnen Sie alle Werte von klein an zu groß, liegt bei 95 % Die Zahl in der Mitte

# 该工具执行日志分析的用户时间，系统时间，物理内存占用大小，虚拟内存占用大小
# 340ms user time, 140ms system time, 23.99M rss, 203.11M vsz
# 工具执行时间
# Current date: Fri Nov 25 02:37:18 2016
# 运行分析工具的主机名
# Hostname: localhost.localdomain
# 被分析的文件名
# Files: slow.log
# 语句总数量，唯一的语句数量，QPS，并发数
# Overall: 2 total, 2 unique, 0.01 QPS, 0.01x concurrency 
# 日志记录的时间范围
# Time range: 2016-11-22 06:06:18 to 06:11:40
# 属性    总计  最小 最大 平均 95% 标准 中等
# Attribute   total  min  max  avg  95% stddev median
# ============  ======= ======= ======= ======= ======= ======= =======
# 语句执行时间
# Exec time    3s 640ms  2s  1s  2s 999ms  1s
# 锁占用时间
# Lock time   1ms  0  1ms 723us  1ms  1ms 723us
# 发送到客户端的行数
# Rows sent    5  1  4 2.50  4 2.12 2.50
# select语句扫描行数
# Rows examine  186.17k  0 186.17k 93.09k 186.17k 131.64k 93.09k
# 查询的字符数
# Query size   455  15  440 227.50  440 300.52 227.50

Teil 2: Abfragegruppierung statistischer Ergebnisse

Rang: Rangfolge aller Aussagen, Standardmäßig nach Abfragezeit in absteigender Reihenfolge sortiert. --order-by gibt

Abfrage-ID: Anweisungs-ID an (überschüssige Leerzeichen und Textzeichen entfernen,

Hash

-Wert berechnen)
Antwort: Gesamtantwortzeit

Zeit: Der Gesamtzeitanteil dieser Abfrage in dieser Analyse

Aufrufe: Anzahl der Ausführungen, die ist, wie viele Aufrufe insgesamt in dieser Analyse vorhanden sind. Diese Art von Abfrageanweisung

R/Call: durchschnittliche Antwortzeit pro Ausführung

V/M: Antwortzeit Varianz-Mittelwert-Verhältnis

Item：查询对象

# Profile
# Rank Query ID   Response time Calls R/Call V/M Item
# ==== ================== ============= ===== ====== ===== ===============
# 1 0xF9A57DD5A41825CA 2.0529 76.2%  1 2.0529 0.00 SELECT
# 2 0x4194D8F83F4F9365 0.6401 23.8%  1 0.6401 0.00 SELECT wx_member_base

第三部分：每一种查询的详细统计结果

由下面查询的详细统计结果，最上面的表格列出了执行次数、最大、最小、平均、95%等各项目的统计。

ID：查询的ID号，和上图的Query ID对应

Databases：数据库名

Users：各个用户执行的次数（占比）

Query_time distribution ：查询时间分布, 长短体现区间占比，本例中1s-10s之间查询数量是10s以上的两倍。

Tables：查询中涉及到的表

Explain：SQL语句

# Query 1: 0 QPS, 0x concurrency, ID 0xF9A57DD5A41825CA at byte 802 
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: all events occurred at 2016-11-22 06:11:40
# Attribute pct total  min  max  avg  95% stddev median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count   50  1
# Exec time  76  2s  2s  2s  2s  2s  0  2s
# Lock time  0  0  0  0  0  0  0  0
# Rows sent  20  1  1  1  1  1  0  1
# Rows examine 0  0  0  0  0  0  0  0
# Query size  3  15  15  15  15  15  0  15
# String:
# Databases test
# Hosts  192.168.8.1
# Users  mysql
# Query_time distribution
# 1us
# 10us
# 100us
# 1ms
# 10ms
# 100ms
# 1s ################################################################
# 10s+
# EXPLAIN /*!50100 PARTITIONS*/
select sleep(2)\G

五、用法示例

1.直接分析慢查询文件:

pt-query-digest slow.log > slow_report.log

2.分析最近12小时内的查询：

pt-query-digest --since=12h slow.log > slow_report2.log

3.分析指定时间范围内的查询：

pt-query-digest slow.log --since '2017-01-07 09:30:00' --until '2017-01-07 10:00:00'> > slow_report3.log

4.分析指含有select语句的慢查询

pt-query-digest --filter '$event->{fingerprint} =~ m/^select/i' slow.log> slow_report4.log

5.针对某个用户的慢查询

pt-query-digest --filter '($event->{user} || "") =~ m/^root/i' slow.log> slow_report5.log

6.查询所有所有的全表扫描或full join的慢查询

pt-query-digest --filter '(($event->{Full_scan} || "") eq "yes") ||(($event->{Full_join} || "") eq "yes")' slow.log> slow_report6.log

7.把查询保存到query_review表

pt-query-digest --user=root –password=abc123 --review h=localhost,D=test,t=query_review--create-review-table slow.log

8.把查询保存到query_history表

pt-query-digest --user=root –password=abc123 --review h=localhost,D=test,t=query_history--create-review-table slow.log_0001
pt-query-digest --user=root –password=abc123 --review h=localhost,D=test,t=query_history--create-review-table slow.log_0002

9.通过tcpdump抓取mysql的tcp协议数据，然后再分析

tcpdump -s 65535 -x -nn -q -tttt -i any -c 1000 port 3306 > mysql.tcp.txt
pt-query-digest --type tcpdump mysql.tcp.txt> slow_report9.log

10.分析binlog

mysqlbinlog mysql-bin.000093 > mysql-bin000093.sql
pt-query-digest --type=binlog mysql-bin000093.sql > slow_report10.log

11.分析general log

pt-query-digest --type=genlog localhost.log > slow_report11.log

总结

Das obige ist der detaillierte Inhalt vonDetaillierte Einführung in die pt-query-digest-Analyse langsamer Abfrageprotokolle von MySQL. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!