怎样排查Redis集群因网络MTU设置不当导致的丢包延迟

夜晨吖_7063

夜晨吖_7063

2026-10-21

556人浏览

原创

mtu不一致导致redis集群slave频繁掉线,因心跳包(>1.5kb)在mtu较小路径上被分片,中间设备丢弃分片致pong丢失、超时标记pfail;需tcpdump抓包验证,调大cluster-node-timeout、启用tcp-keepalive及内核限速规避。

怎样排查redis集群因网络mtu设置不当导致的丢包延迟

Redis集群因MTU设置不当导致的丢包和延迟,不是Redis本身慢,而是TCP层在 silently 丢包——你看到ping正常、mtr无丢包,但CLUSTER NODES里节点反复变fail,cluster_stats_messages_pong_sent延迟飙升,基本就是这个原因。

怎么确认是MTU问题不是Redis配置错

别信ping -c 4 <slave-ip></slave-ip>,它走ICMP、包小(默认56字节),根本触发不了分片;也别只看redis-cli -c -h <master-ip> info cluster</master-ip>里的统计字段,那是结果,不是根因。必须抓真实Gossip流量:

  • 在主从节点**同时**执行:tcpdump -i any 'port 6379 and (tcp[12:1] & 0xf0) > 0x50' -w heartbeat.pcap(过滤掉纯ACK,只留含数据的TCP包)
  • Wireshark里加载后,用过滤器:tcp.len > 0 and tcp.flags.syn == 0,重点找:IPv4 fragment、TCP segment not captured in full、或大量[TCP Retransmission]
  • 运行ss -i dst <slave-ip>:6379</slave-ip>,观察retrans列是否持续非零、loss是否增长、wscale是否频繁抖动

为什么调大cluster-node-timeout只是缓兵之计

把cluster-node-timeout从默认15000改成30000,确实能让节点“多活几秒”,但掩盖了丢包本质——PONG包压根没到,超时只是必然结果。更危险的是,这会拖长故障发现时间,且无法解决同步延迟或master_last_io_seconds_ago持续>1的问题。

redis-tools
redis-tools

按类别查找Redis命令、检测服务器连接、监控键数量和内存占用,支持离线速查表。

下载
  • cluster-node-timeout设太高:脑裂风险上升,分区恢复时可能选错主节点
  • cluster-node-timeout设太低:网络抖动就误判PFAIL,触发无谓的故障转移
  • 真正要压的是分片概率,不是延长容忍窗口——所以优先做tcp-keepalive 60 + 内核限速,再考虑调timeout

不改系统MTU的前提下如何让Redis“适配”小MTU链路

云环境通常禁止改ifconfig eth0 mtu 1400,强行改还可能导致SSH断连或元数据服务异常。更安全的做法是让Redis通信行为收敛:

  • 所有节点redis.conf中加:tcp-keepalive 60(激活保活,防NAT清连接)
  • 用tc在宿主机限速,压制突发大包:tc qdisc add dev eth0 root tbf rate 10mbit burst 16kbit latency 100ms
  • 避免依赖单次大PING:Redis 8.2.3+已优化Gossip打包逻辑,但若仍在用旧版,务必升级——CVE-2025-62507修复本身也包含心跳流稳定性改进

终极验证:别只看状态,要看PONG是否真抵达

改完配置后,不能只跑redis-cli -c -h <slave-ip> CLUSTER NODES</slave-ip>看状态是不是connected。要进节点执行:

redis-cli -h <master-ip> info cluster | grep -E "cluster_stats_messages_pong_(received|sent)"</master-ip>

观察cluster_stats_messages_pong_received与sent的差值是否稳定在个位数(理想是0),且cluster_stats_messages_pong_sent的平均延迟回落至rtt的1.5倍以内(用ss -i查到的rtt值)。如果差值仍>100或延迟>200ms,说明分片或丢包仍在发生,得回头检查tc规则是否生效、tcp-keepalive是否被防火墙拦截。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

redis redis集群

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.02

4549

19

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.14

4095

11

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.02

7612

6

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

643

6

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

756

6

mysql和redis怎么保证双写一致性
mysql和redis怎么保证双写一致性

确保 mysql 和 redis 双写一致性的技术包括:1、事务性更新:同时更新 mysql 和 redis,保证一致性;2、主从复制:mysql 主服务器更改同步到 redis 从服务器;3、基于事件的更新:mysql 记录更改并发送到 redis等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

7542

6

redis缓存一般存些什么数据
redis缓存一般存些什么数据

redis缓存中存储的数据类型包括:字符串、哈希、列表、集合、有序集合、位图、地理空间数据和hyperloglog。这些数据类型适用于存储各种数据,从简单信息到复杂对象和地理位置。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

1160

6

redis的8种数据类型有哪些
redis的8种数据类型有哪些

redis 提供 8 种数据类型:字符串(文本、数字、二进制)、哈希(键值对)、列表(有序集合)、集合(无序唯一元素)、有序集合(按分数排序)、地理空间(地理位置)、hyperloglog(估计大数据基数)和位图(位序列存储)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

1136

6

redis主要作用有哪些
redis主要作用有哪些

redis 的主要作用包括:1. 缓存数据,提高访问速度;2. 充当消息队列,实现消息传递;3. 存储各种数据类型,如字符串、散列和集合;4. 管理会话信息,确保可靠性和可用性;5. 限制请求速率,防止服务器超载等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

6578

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习