So legen Sie das 1-TB-Formular in der MySQL-Bibliothek ab

1. Löschen Sie den Pufferpool

Wenn table gelöscht wird, bereinigt die innodb-Engine die Tabelle in jedem Puffer Für die entsprechende Datenblockseite in der Pool-Instanz ist der Löschvorgang hier kein echter Flush, sondern die betroffenen Seiten werden aus geleert, um Auswirkungen auf das System zu vermeiden. Code>Aus der Warteschlange entfernt. Während des Entfernungsprozesses hält der Löschvorgang jedoch die globale Sperre jedes Pufferpools aufrecht und sucht dann nach der entsprechenden Seite in diesem Pufferpool, um sie aus dem Flush-Liste Löschen. Wenn zu viele Seiten im Pufferpool durchsucht und gelöscht werden müssen, erhöht sich die Durchlaufzeit, was dazu führt, dass andere Transaktionsvorgänge blockiert werden, und in schweren Fällen kann dies auch die Datenbank blockieren gesperrt. drop table时，innodb引擎会清理该表在每个buffer pool实例中中对应的数据块页面，为了避免对系统的影响，这里的清除操作并不是真正的flush，而是将涉及到的页面从flush队列中摘除。但在摘除过程中，删除进程会持有每个buffer pool的全局锁，然后搜索这个buffer pool里对应的页面以便从flush list中删除。如果在buffer pool中需要被搜索并删除的页面过多，那么遍历时间就会增大，这就导致了其他事务操作被阻塞，严重时可导致数据库锁住。

(推荐课程：MySQL教程)

在这里还需要注意一件事情，如果数据库的buffer pool设置的很大，就会导致遍历时间变长 清理buffer pool时，还包含清理AHI包含此表的数据，AHI的功能在这里就不多说了，主要是当b+tree的层级变高时，为避免b+tree逐层搜索，AHI能根据某个检索条件，直接查询到对应的数据页，跳过逐层定位的步骤。其次AHI会占用 1/16 的buffer pool的大小，如果线上表数据不是特别大，不是超高并发，不建议将开启AHI，可以考虑关闭AHI功能

mysql> SHOW GLOBAL VARIABLES LIKE 'innodb_adaptive_hash_index';
+----------------------------+-------+
| Variable_name                   | Value |
+----------------------------+-------+
| innodb_adaptive_hash_index | ON    |
+----------------------------+-------+
1 row in set (0.01 sec)


mysql> SET GLOBAL innodb_adaptive_hash_index=OFF;
Query OK, 0 rows affected (0.00 sec)


mysql> SHOW GLOBAL VARIABLES LIKE 'innodb_adaptive_hash_index';
+----------------------------+-------+
| Variable_name                   | Value |
+----------------------------+-------+
| innodb_adaptive_hash_index | OFF   |
+----------------------------+-------+
1 row in set (0.01 sec)

2、删除对应的磁盘数据文件ibd

在删除数据文件时，如果数据文件过大，删除过程会产生大量的IO并耗费更多的时间，造成磁盘IO开销飙升,CPU负载过高，影响其他程序运行。我的一个好伙伴，就曾在线上库删除了一张 1TB 大小的表，结果20分钟，数据库无响应，最后库崩溃，重启了。

既然知道drop table做了2件事情，那就针对以上 2 个事情进行优化

在清除Buffer Pool缓冲上，为减少当个buffer pool的大小，可以合理设置innodb_buffer_pool_instances参数，减少buffer pool数据块列表扫描时间，同时关闭AHI功能

在步骤2上，可以巧妙的利用linux的硬连接特性，延迟删除真正的物理文件。

当多个文件名同时指向同一个INODE时,这个INODE的引用数 N>1, 删除其中任何一个文件名都会很快.因为其直接的物理文件块没有被删除.只是删除了一个指针而已;当INODE的引用数 N=1 时, 删除文件需要去把这个文件相关的所有数据块清除,所以会比较耗时;

如果给数据库表的.ibd文件创建一个硬链接，当删除表时，删除物理文件时，其实删除的就是物理文件的一个指针，所以删除操作响应速度会非常快，大约不到1秒左右

下面就来演示一下具体的操作

先创建表文件的硬链接
ln t_test.ibd t_test.ibd.bak
删除表
drop table t_test;

最后就是要真正删除掉物理文件，释放文件所占用的磁盘空间，那么问题来了，如果优雅的删除物理文件呢，在这里推荐大家coreutils工具集中的truncate命令

当然需要你先安装相关的软件包

wget http://ftp.gnu.org/gnu/coreutils/coreutils-8.29.tar.xz


使用非root进行解压
tar -xvJf coreutils-8.29.tar.xz
cd coreutils-8.29
./configure
make
使用root进行make install

安装好之后，就可以写一个脚本，非常优雅的分布删除大文件，${i}G

(Empfohlener Kurs: MySQL-Tutorial)#🎜🎜##🎜🎜#Hier gibt es noch eine Sache, auf die Sie achten müssen: den Pufferpool der Datenbank auf eine große Größe eingestellt ist, führt dazu, dass die Durchlaufzeit länger wird Beim Bereinigen des Pufferpools werden auch die AHI-Daten, die diese Tabelle enthalten, bereinigt. Die Funktion von AHI wird hier nicht besprochen Wenn die Ebene von b+tree höher wird, kann AHI verwendet werden, um die schichtweise Suche nach b+tree zu vermeiden Überspringen Sie für die entsprechende Datenseite den Schritt der schichtweisen Positionierung. Zweitens belegt AHI 1/16 der Größe des Pufferpools. Wenn die Online-Tabellendaten nicht besonders groß sind und die Parallelität nicht besonders hoch ist, wird die Aktivierung von AHI nicht empfohlen Erwägen Sie das Deaktivieren der AHIFunktion#🎜🎜#

#!/bin/bash


TRUNCATE=/usr/local/bin/truncate
for i in `seq 2194 -10 10 `; 
do 
  sleep 2
  $TRUNCATE -s ${i}G /data/mysql/t_test.ibd.hdlk 
done
rm -rf /data/mysql/t_test.ibd.hdlk ;

#🎜🎜#2. Löschen Sie die entsprechende Festplattendatendatei ibd#🎜🎜##🎜🎜#Beim Löschen der Datendatei Wenn die Datendatei zu groß ist, erzeugt der Löschvorgang eine große Menge an IO und verbraucht mehr Zeit, was dazu führt, dass der Festplatten-IO-Overhead in die Höhe schießt und der Die CPU-Auslastung ist zu hoch, was Auswirkungen auf den Betrieb anderer Programme hat. Ein guter Freund von mir hat einmal eine 1-TB-Tabelle aus der Online-Datenbank gelöscht. Infolgedessen reagierte die Datenbank 20 Minuten lang nicht mehr, und schließlich stürzte die Datenbank ab und wurde neu gestartet. #🎜🎜##🎜🎜#Da wir nun wissen, dass <code>drop table zwei Dinge tut, optimieren wir die oben genannten zwei Dinge #🎜🎜##🎜🎜#Nach dem Löschen des PufferpoolsWas die Pufferung betrifft, können Sie zum Reduzieren der Größe eines <code>Pufferpools den Parameter innodb_buffer_pool_instances entsprechend festlegen, um den Pufferpool zu reduzieren Zeit zum Scannen der Datenblockliste und deaktivieren Sie gleichzeitig die Funktion AHI#🎜🎜##🎜🎜#In Schritt 2 können Sie die Funktion für harte Verbindungen von linux um das Löschen echter physischer Dateien zu verzögern. #🎜🎜##🎜🎜#Wenn mehrere Dateinamen gleichzeitig auf denselben <code>INODE verweisen, ist die Referenznummer dieses INODE N>1 Der Dateiname führt dazu, dass der direkte physische Dateiblock nicht gelöscht wurde, wenn die Referenznummer von INODE N=1 ist Alle Datenblöcke, die sich auf die Datei beziehen, werden gelöscht, daher ist es zeitaufwändiger;#🎜🎜##🎜🎜#Wenn Sie einen festen Link zur .ibd-Datei der Datenbanktabelle erstellen Wenn die Tabelle gelöscht wird und die physische Datei gelöscht wird, wird tatsächlich ein Zeiger auf die physische Datei gelöscht, sodass die Reaktionsgeschwindigkeit des Löschvorgangs sehr schnell ist und etwa weniger als 1 Sekunde beträgt.#🎜🎜## 🎜🎜#Lassen Sie uns den spezifischen Vorgang demonstrieren#🎜🎜#rrreee#🎜🎜#Als letztes müssen Sie die physischen Dateien wirklich löschen und den von den Dateien belegten Speicherplatz freigeben. Dann stellt sich die Frage, ob Sie die physischen Dateien löschen möchten Ich empfehle den Befehl truncate im Tool-Set coreutils #🎜🎜##🎜🎜#Natürlich müssen Sie zuerst das entsprechende Softwarepaket installieren #🎜🎜#. rrreee#🎜🎜#Nach der Installation können Sie ein Skript schreiben, um große Dateien sehr elegant zu löschen. ${i }G bedeutet, dass jedes Mal 10 GB gelöscht werden#🎜🎜#rrreee

Das obige ist der detaillierte Inhalt vonSo legen Sie das 1-TB-Formular in der MySQL-Bibliothek ab. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!