Comment supprimer le formulaire 1 To dans la bibliothèque MySQL

1. Effacez le tampon du pool de tampons

Lorsque supprime la table, le moteur innodb nettoiera la table correspondant à chaque pool de tampons de données d'instance. bloquer les pages, afin d'éviter tout impact sur le système, l'opération d'effacement ici n'est pas vraiment flush, mais supprime les pages impliquées de la file d'attente flush. Mais pendant le processus de suppression, le processus de suppression maintiendra le verrou global de chaque pool de tampons, puis recherchera la page correspondante dans ce pool de tampons pour la supprimer du vider la liste Supprimer. S'il y a trop de pages qui doivent être recherchées et supprimées dans le pool de tampons, le temps de parcours augmentera, ce qui entraînera le blocage d'autres opérations de transaction et, dans les cas graves, la base de données peut être fermé. drop table时，innodb引擎会清理该表在每个buffer pool实例中中对应的数据块页面，为了避免对系统的影响，这里的清除操作并不是真正的flush，而是将涉及到的页面从flush队列中摘除。但在摘除过程中，删除进程会持有每个buffer pool的全局锁，然后搜索这个buffer pool里对应的页面以便从flush list中删除。如果在buffer pool中需要被搜索并删除的页面过多，那么遍历时间就会增大，这就导致了其他事务操作被阻塞，严重时可导致数据库锁住。

(推荐课程：MySQL教程)

在这里还需要注意一件事情，如果数据库的buffer pool设置的很大，就会导致遍历时间变长 清理buffer pool时，还包含清理AHI包含此表的数据，AHI的功能在这里就不多说了，主要是当b+tree的层级变高时，为避免b+tree逐层搜索，AHI能根据某个检索条件，直接查询到对应的数据页，跳过逐层定位的步骤。其次AHI会占用 1/16 的buffer pool的大小，如果线上表数据不是特别大，不是超高并发，不建议将开启AHI，可以考虑关闭AHI功能

mysql> SHOW GLOBAL VARIABLES LIKE 'innodb_adaptive_hash_index';
+----------------------------+-------+
| Variable_name                   | Value |
+----------------------------+-------+
| innodb_adaptive_hash_index | ON    |
+----------------------------+-------+
1 row in set (0.01 sec)


mysql> SET GLOBAL innodb_adaptive_hash_index=OFF;
Query OK, 0 rows affected (0.00 sec)


mysql> SHOW GLOBAL VARIABLES LIKE 'innodb_adaptive_hash_index';
+----------------------------+-------+
| Variable_name                   | Value |
+----------------------------+-------+
| innodb_adaptive_hash_index | OFF   |
+----------------------------+-------+
1 row in set (0.01 sec)

2、删除对应的磁盘数据文件ibd

在删除数据文件时，如果数据文件过大，删除过程会产生大量的IO并耗费更多的时间，造成磁盘IO开销飙升,CPU负载过高，影响其他程序运行。我的一个好伙伴，就曾在线上库删除了一张 1TB 大小的表，结果20分钟，数据库无响应，最后库崩溃，重启了。

既然知道drop table做了2件事情，那就针对以上 2 个事情进行优化

在清除Buffer Pool缓冲上，为减少当个buffer pool的大小，可以合理设置innodb_buffer_pool_instances参数，减少buffer pool数据块列表扫描时间，同时关闭AHI功能

在步骤2上，可以巧妙的利用linux的硬连接特性，延迟删除真正的物理文件。

当多个文件名同时指向同一个INODE时,这个INODE的引用数 N>1, 删除其中任何一个文件名都会很快.因为其直接的物理文件块没有被删除.只是删除了一个指针而已;当INODE的引用数 N=1 时, 删除文件需要去把这个文件相关的所有数据块清除,所以会比较耗时;

如果给数据库表的.ibd文件创建一个硬链接，当删除表时，删除物理文件时，其实删除的就是物理文件的一个指针，所以删除操作响应速度会非常快，大约不到1秒左右

下面就来演示一下具体的操作

先创建表文件的硬链接
ln t_test.ibd t_test.ibd.bak
删除表
drop table t_test;

最后就是要真正删除掉物理文件，释放文件所占用的磁盘空间，那么问题来了，如果优雅的删除物理文件呢，在这里推荐大家coreutils工具集中的truncate命令

当然需要你先安装相关的软件包

wget http://ftp.gnu.org/gnu/coreutils/coreutils-8.29.tar.xz


使用非root进行解压
tar -xvJf coreutils-8.29.tar.xz
cd coreutils-8.29
./configure
make
使用root进行make install

安装好之后，就可以写一个脚本，非常优雅的分布删除大文件，${i}G

(Cours recommandé : tutoriel MySQL)🎜🎜Il y a encore une chose à laquelle vous devez faire attention ici. Si le buffer pool de la base de données est défini sur une grande taille, cela provoquera une traversée. le temps de devenir plus long. Lors du nettoyage du buffer pool, cela inclut également le nettoyage des données AHI contenant cette table. La fonction de AHI ne sera pas discutée ici. Elle est principalement utilisée. quand Lorsque le niveau de b+tree devient plus élevé, afin d'éviter la recherche couche par couche de b+tree, AHI peut être directement interrogé en fonction d'une certaine condition de recherche. Pour la page de données correspondante, ignorez l'étape de positionnement couche par couche. Deuxièmement, AHI occupera 1/16 de la taille du buffer pool. Si les données de la table en ligne ne sont pas particulièrement volumineuses et que la simultanéité n'est pas ultra élevée, il n'est pas recommandé d'activer AHI. envisagez de désactiver la AHIFonction🎜

#!/bin/bash


TRUNCATE=/usr/local/bin/truncate
for i in `seq 2194 -10 10 `; 
do 
  sleep 2
  $TRUNCATE -s ${i}G /data/mysql/t_test.ibd.hdlk 
done
rm -rf /data/mysql/t_test.ibd.hdlk ;

🎜2 Supprimez le fichier de données du disque correspondant ibd🎜🎜Lors de la suppression du fichier de données, si le fichier de données est trop volumineux, le processus de suppression générera une grande quantité de IO et cela prendra plus de temps, ce qui entraînera une montée en flèche de la surcharge IO du disque et une charge trop élevée du CPU , affectant le fonctionnement d’autres programmes. Un bon ami à moi a supprimé une table de 1 To de la base de données en ligne. En conséquence, la base de données est devenue insensible pendant 20 minutes, et finalement la base de données s'est écrasée et a redémarré. 🎜🎜Maintenant que nous savons que drop table fait 2 choses, nous devrions optimiser les 2 choses ci-dessus🎜🎜Afin de réduire le lors de l'effacement du tampon <code>Buffer Pool , >Taille du pool de tampons, vous pouvez définir le paramètre innodb_buffer_pool_instances de manière raisonnable pour réduire le temps d'analyse de la liste de blocs de données du pool de tampons et désactiver le AHI. 🎜🎜À l'étape 2, vous pouvez intelligemment utiliser la fonctionnalité de connexion matérielle de <code>linux pour retarder la suppression de vrais fichiers physiques. 🎜🎜Lorsque plusieurs noms de fichiers pointent vers le même INODE en même temps, le numéro de référence de ce INODE est N>1, et la suppression de l'un des noms de fichiers entraînera être très rapide. Parce que c'est directement Le bloc de fichier physique n'a pas été supprimé. Seul un pointeur a été supprimé. Lorsque le numéro de référence de INODE est N=1, la suppression du fichier nécessite l'effacement de toutes les données. blocs liés au fichier, cela prendra donc plus de temps ;🎜🎜Si vous créez un lien physique vers le fichier .ibd de la table de la base de données, lorsque vous supprimez la table ou supprimez le physique. fichier, ce qui est réellement supprimé est un pointeur vers le fichier physique, donc la vitesse de réponse de l'opération de suppression sera très rapide, environ moins d'une seconde🎜🎜Montrons l'opération spécifique🎜rrreee🎜La dernière étape consiste à supprimer réellement le fichier physique et libérez l'espace disque occupé par le fichier. Ensuite, le problème est que si vous supprimez le fichier physique correctement. Eh bien, ici, je vous recommande la commande truncate dans le coreutils. ensemble d'outils🎜🎜Bien sûr, vous devez d'abord installer le progiciel approprié🎜rrreee🎜Après l'installation, vous pouvez écrire un script, Suppression distribuée très élégante de fichiers volumineux, ${i}G signifie, 10G est supprimé à chaque fois🎜rrreee

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!