Redis ralentit soudainement ? Analysons comment déterminer si Redis a des problèmes de performances et comment les résoudre

Cet article vous apporte des connaissances pertinentes sur Redis Un retard excessif de Redis peut causer divers problèmes. Analysons comment déterminer si Redis a des problèmes de performances et des solutions. J'espère que cela sera utile à tout le monde.

Apprentissage recommandé : Tutoriel Redis

Redis est généralement un composant important de notre système d'entreprise, tel que : le cache, les informations de connexion au compte, les classements, etc.

Une fois le délai de requête Redis augmenté, cela peut provoquer une "avalanche" du système métier.

Je travaille pour une seule société Internet de type entremetteur. Durant Double Eleven, j'ai lancé une campagne pour offrir un cadeau à ma copine lorsque je passe une commande.

Qui aurait pensé qu'après 12 heures du matin, le nombre d'utilisateurs augmentait fortement, et qu'il y avait un problème technique qui empêchait les utilisateurs de passer des commandes. A ce moment-là, le vieil incendie s'est déclaré !

Après la recherche, j'ai découvert que Redis signalait Impossible d'obtenir une ressource du pool. Could not get a resource from the pool。

获取不到连接资源，并且集群中的单台 Redis 连接量很高。

大量的流量没了 Redis 的缓存响应，直接打到了 MySQL，最后数据库也宕机了……

于是各种更改最大连接数、连接等待数，虽然报错信息频率有所缓解，但还是持续报错。

后来经过线下测试，发现存放 Redis 中的字符数据很大，平均 1s 返回数据。

可以发现，一旦 Redis 延迟过高，会引发各种问题。

今天跟大家一起来分析下如何确定 Redis 有性能问题和解决方案。

Redis 性能出问题了么？

最大延迟是客户端发出命令到客户端收到命令的响应的时间，正常情况下 Redis 处理的时间极短，在微秒级别。

当 Redis 出现性能波动的时候，比如达到几秒到十几秒，这个很明显我们可以认定 Redis 性能变慢了。

有的硬件配置比较高，当延迟 0.6ms，我们可能就认定变慢了。硬件比较差的可能 3 ms 我们才认为出现问题。

那我们该如何定义 Redis 真的变慢了呢？

所以，我们需要对当前环境的 Redis 基线性能做测量，也就是在一个系统在低压力、无干扰情况下的基本性能。

当你发现 Redis 运行时时的延迟是基线性能的 2 倍以上，就可以判定 Redis 性能变慢了。

延迟基线测量

redis-cli 命令提供了–intrinsic-latency 选项，用来监测和统计测试期间内的最大延迟（以毫秒为单位），这个延迟可以作为 Redis 的基线性能。

redis-cli --latency -h `host` -p `port`

比如执行如下指令：

redis-cli --intrinsic-latency 100
Max latency so far: 4 microseconds.
Max latency so far: 18 microseconds.
Max latency so far: 41 microseconds.
Max latency so far: 57 microseconds.
Max latency so far: 78 microseconds.
Max latency so far: 170 microseconds.
Max latency so far: 342 microseconds.
Max latency so far: 3079 microseconds.
45026981 total runs (avg latency: 2.2209 microseconds / 2220.89 nanoseconds per run).
Worst run took 1386x longer than the average latency.

注意：参数100是测试将执行的秒数。我们运行测试的时间越长，我们就越有可能发现延迟峰值。

通常运行 100 秒通常是合适的，足以发现延迟问题了，当然我们可以选择不同时间运行几次，避免误差。

运行的最大延迟是 3079 微秒，所以基线性能是 3079 （3 毫秒）微秒。

需要注意的是，我们要在 Redis 的服务端运行，而不是客户端。这样，可以避免网络对基线性能的影响。

可以通过 -h host -p port 

Aucune ressource de connexion ne peut être obtenue et le nombre de connexions à un seul Redis dans le cluster est très élevé.

Une grande quantité de trafic a perdu la réponse mise en cache de Redis et a touché directement MySQL. En fin de compte, la base de données était également en panne...

Diverses modifications ont donc été apportées au nombre maximum de connexions et au nombre d'attentes de connexion. Bien que la fréquence des messages d'erreur ait été réduite, elle continue de signaler une erreur.

Plus tard, après des tests hors ligne, il a été constaté que les données de caractères stockées dans Redis sont très volumineuses et que les données sont renvoyées en moyenne 1 seconde.

On constate qu'une fois la latence de Redis trop élevée, cela provoquera divers problèmes.

Aujourd'hui, analysons avec vous comment déterminer si Redis a des problèmes de performances et des solutions.

Y a-t-il un problème avec les performances de Redis ?

Le délai maximum est le temps écoulé entre le client émettant une commande et le client recevant la réponse à la commande. Dans des circonstances normales, le temps de traitement de Redis est très court, de l'ordre de la microseconde.

Lorsque les performances de Redis fluctuent, par exemple, elles atteignent quelques secondes à plus de dix secondes, il est évident que l'on peut conclure que les performances de Redis ont ralenti.

Certaines configurations matérielles sont relativement élevées Lorsque le délai est de 0,6 ms, on peut le considérer comme lent. Si le matériel est relativement médiocre, cela peut prendre 3 ms avant que l'on pense qu'il y a un problème.

• Alors, comment définir si Redis est vraiment lent ?

• Nous devons donc mesurer les performances de base Redis de l'environnement actuel, qui sont les performances de base d'un système sous basse pression et sans interférence.
  Lorsque vous constatez que la latence du runtime Redis est plus de 2 fois supérieure aux performances de base, vous pouvez déterminer que les performances de Redis ont ralenti.

Mesure de base de la latence

La commande redis-cli fournit une option de latence intrinsèque pour la surveillance et les statistiques pendant les tests. Le délai maximum (en millisecondes) dans le délai imparti, qui peut être utilisé comme performance de base de Redis. 🎜

redis-cli CONFIG SET slowlog-log-slower-than 6000

🎜Par exemple, exécutez la commande suivante : 🎜

127.0.0.1:6381> SLOWLOG get 2
1) 1) (integer) 6
   2) (integer) 1458734263
   3) (integer) 74372
   4) 1) "hgetall"
      2) "max.dsp.blacklist"
2) 1) (integer) 5
   2) (integer) 1458734258
   3) (integer) 5411075
   4) 1) "keys"
      2) "max.dsp.blacklist"

🎜🎜Remarque : le paramètre 100 est le nombre de secondes pendant lesquelles le test sera exécuté. Plus nous exécutons le test longtemps, plus nous avons de chances de trouver des pics de latence. 🎜🎜Habituellement, une exécution de 100 secondes est généralement appropriée, ce qui est suffisant pour détecter les problèmes de latence. Bien entendu, nous pouvons choisir d'exécuter plusieurs fois à des moments différents pour éviter les erreurs. 🎜🎜🎜La latence maximale en cours d'exécution est de 3079 microsecondes, donc les performances de base sont de 3079 (3 millisecondes) microsecondes. 🎜🎜Il convient de noter que nous devons exécuter sur le serveur Redis, pas sur le client. De cette façon, l’impact du réseau sur les performances de base peut être évité. 🎜🎜Vous pouvez vous connecter au serveur via -h host -p port Si vous souhaitez surveiller l'impact du réseau sur les performances de Redis, vous pouvez utiliser Iperf pour mesurer le délai réseau entre le client et le client. le serveur. 🎜🎜Si le réseau est retardé de plusieurs centaines de millisecondes, cela signifie que d'autres programmes à fort trafic peuvent s'exécuter sur le réseau, provoquant une congestion du réseau. Vous devez trouver l'exploitation et la maintenance pour coordonner la répartition du trafic du réseau. 🎜🎜Surveillance des commandes lentes🎜🎜🎜Comment juger s'il s'agit d'une commande lente ? 🎜🎜🎜Vérifiez si la complexité de l'opération est O(N). La documentation officielle présente la complexité de chaque commande. Utilisez autant que possible les commandes O(1) et O(log N). 🎜🎜La complexité impliquant les opérations d'ensemble est généralement O(N), comme la requête d'ensemble complet HGETALL, SMEMBERS et les opérations d'agrégation d'ensembles : SORT, LREM, SUNION, etc. 🎜🎜🎜Y a-t-il des données de surveillance qui peuvent être observées ? Je n'ai pas écrit le code. Je ne sais pas si quelqu'un a utilisé des instructions lentes. 🎜🎜🎜Il existe deux façons de dépanner : 🎜🎜🎜🎜Utilisez la fonction de journal lent de Redis pour détecter les commandes lentes ; 🎜🎜🎜🎜outil latency-monitor (surveillance de la latence). 🎜🎜🎜🎜De plus, vous pouvez utiliser vous-même (top, htop, prstat, etc.) pour vérifier rapidement la consommation CPU du processus principal Redis. Si l'utilisation du processeur est élevée mais que le trafic est faible, cela indique généralement que des commandes lentes sont utilisées. 🎜

慢日志功能

Redis 中的 slowlog 命令可以让我们快速定位到那些超出指定执行时间的慢命令，默认情况下命令若是执行时间超过 10ms 就会被记录到日志。

slowlog 只会记录其命令执行的时间，不包含 io 往返操作，也不记录单由网络延迟引起的响应慢。

我们可以根据基线性能来自定义慢命令的标准（配置成基线性能最大延迟的 2 倍），调整触发记录慢命令的阈值。

可以在 redis-cli 中输入以下命令配置记录 6 毫秒以上的指令：

redis-cli CONFIG SET slowlog-log-slower-than 6000

也可以在 Redis.config 配置文件中设置，以微秒为单位。

想要查看所有执行时间比较慢的命令，可以通过使用 Redis-cli 工具，输入 slowlog get 命令查看，返回结果的第三个字段以微秒位单位显示命令的执行时间。

假如只需要查看最后 2 个慢命令，输入 slowlog get 2 即可。

示例：获取最近2个慢查询命令

127.0.0.1:6381> SLOWLOG get 2
1) 1) (integer) 6
   2) (integer) 1458734263
   3) (integer) 74372
   4) 1) "hgetall"
      2) "max.dsp.blacklist"
2) 1) (integer) 5
   2) (integer) 1458734258
   3) (integer) 5411075
   4) 1) "keys"
      2) "max.dsp.blacklist"

以第一个 HGET 命令为例分析，每个 slowlog 实体共 4 个字段：

• 字段 1：1 个整数，表示这个 slowlog 出现的序号，server 启动后递增，当前为 6。

• 字段 2：表示查询执行时的 Unix 时间戳。

• 字段 3：表示查询执行微秒数,当前是 74372 微秒,约 74ms。

• 字段 4: 表示查询的命令和参数,如果参数很多或很大,只会显示部分参数个数。当前命令是hgetall max.dsp.blacklist。

Latency Monitoring

Redis 在 2.8.13 版本引入了 Latency Monitoring 功能，用于以秒为粒度监控各种事件的发生频率。

启用延迟监视器的第一步是设置延迟阈值(单位毫秒)。只有超过该阈值的时间才会被记录，比如我们根据基线性能（3ms）的 3 倍设置阈值为 9 ms。

可以用 redis-cli 设置也可以在 Redis.config 中设置；

CONFIG SET latency-monitor-threshold 9

工具记录的相关事件的详情可查看官方文档：https://redis.io/topics/latency-monitor

如获取最近的 latency

127.0.0.1:6379> debug sleep 2
OK
(2.00s)
127.0.0.1:6379> latency latest
1) 1) "command"
   2) (integer) 1645330616
   3) (integer) 2003
   4) (integer) 2003

事件的名称；

事件发生的最新延迟的 Unix 时间戳；

毫秒为单位的时间延迟；

该事件的最大延迟。

如何解决 Redis 变慢？

Redis 的数据读写由单线程执行，如果主线程执行的操作时间太长，就会导致主线程阻塞。

一起分析下都有哪些操作会阻塞主线程，我们又该如何解决？

网络通信导致的延迟

客户端使用 TCP/IP 连接或 Unix 域连接连接到 Redis。1 Gbit/s 网络的典型延迟约为 200 us。

redis 客户端执行一条命令分 4 个过程：

发送命令－〉 命令排队 －〉 命令执行－〉 返回结果

这个过程称为 Round trip time(简称 RTT, 往返时间)，mget mset 有效节约了 RTT，但大部分命令（如 hgetall，并没有 mhgetall）不支持批量操作，需要消耗 N 次 RTT ，这个时候需要 pipeline 来解决这个问题。

Redis pipeline 将多个命令连接在一起来减少网络响应往返次数。

redis-pipeline

慢指令导致的延迟

根据上文的慢指令监控查询文档，查询到慢查询指令。可以通过以下两种方式解决：

比如在 Cluster 集群中，将聚合运算等 O(N) 操作运行在 slave 上，或者在客户端完成。

使用高效的命令代替。使用增量迭代的方式，避免一次查询大量数据，具体请查看SCAN、SSCAN、HSCAN和ZSCAN命令。

除此之外，生产中禁用KEYS 命令，它只适用于调试。因为它会遍历所有的键值对，所以操作延时高。

Fork 生成 RDB 导致的延迟

生成 RDB 快照，Redis 必须 fork 后台进程。fork 操作（在主线程中运行）本身会导致延迟。

Redis 使用操作系统的多进程写时复制技术 COW(Copy On Write) 来实现快照持久化，减少内存占用。

写时复制技术保证快照期间数据可修改

但 fork 会涉及到复制大量链接对象，一个 24 GB 的大型 Redis 实例需要 24 GB / 4 kB * 8 = 48 MB 的页表。

执行 bgsave 时，这将涉及分配和复制 48 MB 内存。

此外，从库加载 RDB 期间无法提供读写服务，所以主库的数据量大小控制在 2~4G 左右，让从库快速的加载完成。

内存大页（transparent huge pages）

常规的内存页是按照 4 KB 来分配，Linux 内核从 2.6.38 开始支持内存大页机制，该机制支持 2MB 大小的内存页分配。

Redis 使用了 fork 生成 RDB 做持久化提供了数据可靠性保证。

当生成 RDB 快照的过程中，Redis 采用**写时复制**技术使得主线程依然可以接收客户端的写请求。

也就是当数据被修改的时候，Redis 会复制一份这个数据，再进行修改。

采用了内存大页，生成 RDB 期间，即使客户端修改的数据只有 50B 的数据，Redis 需要复制 2MB 的大页。当写的指令比较多的时候就会导致大量的拷贝，导致性能变慢。

使用以下指令禁用 Linux 内存大页即可：

echo never > /sys/kernel/mm/transparent_hugepage/enabled

swap：操作系统分页

当物理内存（内存条）不够用的时候，将部分内存上的数据交换到 swap 空间上，以便让系统不会因内存不够用而导致 oom 或者更致命的情况出现。

当某进程向 OS 请求内存发现不足时，OS 会把内存中暂时不用的数据交换出去，放在 SWAP 分区中，这个过程称为 SWAP OUT。

当某进程又需要这些数据且 OS 发现还有空闲物理内存时，又会把 SWAP 分区中的数据交换回物理内存中，这个过程称为 SWAP IN。

内存 swap 是操作系统里将内存数据在内存和磁盘间来回换入和换出的机制，涉及到磁盘的读写。

触发 swap 的情况有哪些呢？

对于 Redis 而言，有两种常见的情况：

Redis 使用了比可用内存更多的内存；

与 Redis 在同一机器运行的其他进程在执行大量的文件读写 I/O 操作（包括生成大文件的 RDB 文件和 AOF 后台线程），文件读写占用内存，导致 Redis 获得的内存减少，触发了 swap。

我要如何排查是否因为 swap 导致的性能变慢呢？

Linux 提供了很好的工具来排查这个问题，所以当怀疑由于交换导致的延迟时，只需按照以下步骤排查。

获取 Redis 实例 pid

$ redis-cli info | grep process_id
process_id:13160

进入此进程的 /proc 文件系统目录：

cd /proc/13160

在这里有一个 smaps 的文件，该文件描述了 Redis 进程的内存布局，运行以下指令，用 grep 查找所有文件中的 Swap 字段。

$ cat smaps | egrep '^(Swap|Size)'
Size:                316 kB
Swap:                  0 kB
Size:                  4 kB
Swap:                  0 kB
Size:                  8 kB
Swap:                  0 kB
Size:                 40 kB
Swap:                  0 kB
Size:                132 kB
Swap:                  0 kB
Size:             720896 kB
Swap:                 12 kB

每行 Size 表示 Redis 实例所用的一块内存大小，和 Size 下方的 Swap 对应这块 Size 大小的内存区域有多少数据已经被换出到磁盘上了。

如果 Size == Swap 则说明数据被完全换出了。

可以看到有一个 720896 kB 的内存大小有 12 kb 被换出到了磁盘上（仅交换了 12 kB），这就没什么问题。

Redis 本身会使用很多大小不一的内存块，所以，你可以看到有很多 Size 行，有的很小，就是 4KB，而有的很大，例如 720896KB。不同内存块被换出到磁盘上的大小也不一样。

敲重点了

如果 Swap 一切都是 0 kb，或者零星的 4k ，那么一切正常。

当出现百 MB，甚至 GB 级别的 swap 大小时，就表明，此时，Redis 实例的内存压力很大，很有可能会变慢。

解决方案

增加机器内存；

Exécutez Redis sur une machine distincte pour éviter d'exécuter des processus nécessitant une grande quantité de mémoire sur la même machine pour répondre aux besoins en mémoire de Redis.

Augmentez le nombre de clusters Cluster pour partager la quantité de données et réduire la mémoire requise pour chaque instance.

Délai causé par AOF et les E/S disque

Afin de garantir la fiabilité des données, Redis utilise des instantanés AOF et RDB pour obtenir une récupération et une persistance rapides.

Vous pouvez utiliser la configuration appendfsync pour configurer AOF pour effectuer une écriture ou une fsync sur le disque de trois manières différentes (ce paramètre peut être modifié au moment de l'exécution à l'aide de la commande CONFIG SET, telle que : redis-cli CONFIG SET appendfsync no).

• non : Redis n'effectue pas fsync. Le seul retard vient de l'appel d'écriture. L'écriture doit uniquement écrire l'enregistrement du journal dans le tampon du noyau avant de revenir.

• everysec : Redis exécute fsync une fois par seconde. Utilisez des sous-threads d'arrière-plan pour effectuer les opérations fsync de manière asynchrone. Au maximum 1 seconde de données seront perdues.

• toujours : fsync est effectué à chaque opération d'écriture puis le client reçoit un code OK (en fait Redis essaiera de regrouper plusieurs commandes exécutées simultanément en un seul fsync), aucune donnée n'est perdue. Dans ce mode, les performances sont généralement très lentes et il est fortement recommandé d'utiliser des disques rapides et des implémentations de système de fichiers capables d'exécuter fsync en peu de temps.

Nous utilisons généralement Redis pour la mise en cache. La perte de données est complètement malveillante et ne nécessite pas une fiabilité élevée des données. Il est recommandé de la définir sur non ou toutes les secondes.

De plus, pour éviter que le fichier AOF ne soit trop volumineux, Redis réécrira l'AOF et générera un fichier AOF réduit.

Vous pouvez définir l'élément de configuration no-appendfsync-on-rewrite sur yes, ce qui signifie que l'opération fsync ne sera pas effectuée lors de la réécriture d'AOF.

En d'autres termes, une fois que l'instance Redis a écrit la commande d'écriture dans la mémoire, elle revient directement sans appeler le thread d'arrière-plan pour effectuer l'opération fsync.

expires Éliminer les données expirées

Redis dispose de deux manières pour éliminer les données expirées :

• Suppression paresseuse : lors de la réception de la demande, il s'avère que la clé a expiré, puis la suppression est effectuée ;

• Suppression programmée : toutes les 100 millisecondes pour supprimer certaines clés expirées.

L'algorithme de suppression programmée est le suivant :

Échantillonnez au hasard le nombre de clés ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP et supprimez toutes les clés expirées.

S'il s'avère que plus de 25 % des clés ont expiré, effectuez la première étape ;

ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP est défini sur 20 par défaut et est exécuté 10 fois par seconde. La suppression de 200 clés n'est pas un gros problème.

Si le deuxième élément est déclenché, Redis supprimera systématiquement les données expirées pour libérer de la mémoire. Et la suppression bloque.

Quelles sont les conditions de déclenchement ?

C'est-à-dire qu'un grand nombre de touches sont définies avec les mêmes paramètres temporels. Dans la même seconde, un grand nombre de clés expirent et doivent être supprimées plusieurs fois pour le réduire à moins de 25 %.

En bref : un grand nombre de clés qui expirent en même temps peuvent entraîner des fluctuations de performances.

Solution

Si un lot de clés expire en même temps, vous pouvez ajouter un nombre aléatoire dans une certaine plage de taille aux paramètres de délai d'expiration d'EXPIREAT et EXPIRE, afin de vous assurer que les clés sont dans un proche Il est supprimé dans la plage de temps et évite en même temps la pression provoquée par l'expiration.

bigkey

Habituellement, nous appelons les clés qui contiennent de grandes données ou un grand nombre de membres ou de listes comme grandes clés. Ci-dessous, nous utiliserons plusieurs exemples pratiques pour décrire les caractéristiques des grandes clés :

• UNE CHAÎNE. tapez Key, sa valeur est de 5Mo (les données sont trop volumineuses)

• Une Key de type LIST, son nombre de listes est de 10000 (le nombre de listes est trop grand)

• Une Key de type ZSET, son nombre de membres est de 10 000 (trop de membres)

• Une clé au format HASH, bien que son nombre de membres ne soit que de 1 000, la taille totale de la valeur de ces membres est de 10 Mo (la taille du membre est trop grande)

bigkey apporte le problèmes suivants :

• La mémoire Redis continue de croître, provoquant un MOO ou atteignant la valeur de paramètre maxmemory, provoquant un blocage en écriture ou l'expulsion d'une clé importante

   ;

• La mémoire d'un certain nœud dans Redis Cluster dépasse de loin celle des autres nœuds, mais comme la granularité minimale de la migration des données dans Redis Cluster est clé, la mémoire sur le nœud ne peut pas être équilibrée ; trop de bande passante, Lorsqu'il ralentit, cela affecte également d'autres services sur le serveur ;

• La suppression d'une bigkey provoque un blocage prolongé de la bibliothèque principale et déclenche une interruption de synchronisation ou une commutation maître-esclave ;

Trouver une grande clé
Utilisez l'outil redis-rdb-tools pour trouver la grande clé de manière personnalisée.

Solution

Diviser les grandes clés

Par exemple, divisez une clé HASH contenant des dizaines de milliers de membres en plusieurs clés HASH et assurez-vous que le nombre de membres de chaque clé se situe dans une plage raisonnable, dans Redis Cluster Dans la structure, le fractionnement de grandes clés peut jouer un rôle important dans l'équilibre de la mémoire entre les nœuds. Nettoyage asynchrone des grandes clésRedis fournit la commande UNLINK depuis la version 4.0, qui peut nettoyer lentement et progressivement les clés entrantes de manière non bloquante. Grâce à UNLINK, vous pouvez supprimer en toute sécurité des clés volumineuses ou même des clés très volumineuses.

Résumé

La liste de contrôle suivante vous aidera à résoudre efficacement le problème lorsque vous rencontrez des performances lentes de Redis.

Obtenez les performances de base actuelles de Redis ;

Activez la surveillance des commandes lentes pour localiser les problèmes causés par les commandes lentes ;

Trouvez les commandes lentes et utilisez l'analyse

Contrôlez la taille des données de l'instance entre 2 et 4 Go pour éviter les erreurs de maîtrise ; La copie esclave est bloquée en raison du chargement de fichiers RDB trop volumineux ;

 Désactivez les pages volumineuses en mémoire et utilisez des pages volumineuses en mémoire. Lors de la génération RDB, même si les données modifiées par le client ne représentent que 50 Mo de données, Redis doit copier 2 Mo d'énormes pages. pages. Lorsqu'un grand nombre d'instructions sont écrites, un grand nombre de copies sera provoqué, ce qui entraînera un ralentissement des performances.

Si la mémoire utilisée par Redis est trop grande, provoquant un échange ;

Si la configuration AOF est raisonnable, vous pouvez définir l'élément de configuration no-appendfsync-on-rewrite sur yes pour éviter la réécriture AOF et fsync en concurrence pour les ressources d'E/S disque. , ce qui entraîne une latence Redis accrue.

bigkey entraînera une série de problèmes. Nous devons le diviser pour empêcher bigkey d'apparaître et le supprimer de manière asynchrone via UNLINK.

Apprentissage recommandé :

Tutoriel d'apprentissage Redis

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!