笙亿网络策划

Redis 集群节点间通信失败报错 CLUSTERBUSY 怎么解决？

约 6 分钟读完 28 阅
文章导读
Redis 集群节点间通信失败报错 CLUSTERBUSY 通常表明节点负载过高、正在处理耗时命令或网络拥塞导致无法及时响应集群总线消息。解决该问题首先需要检查 Redis 慢日志，识别并优化耗时命令；其次检查节点间网络状态，确保带宽和延迟正常；若节点内存或 CPU 飙升，需考虑扩容或重启节点；同时检查客户端连接池配置，避免连接耗尽。参考以下集群故障排查方案，通过 cluster nodes 检查
📋 目录
  1. Ⅰ 集群常见报错及解决方案
  2. Ⅱ Redis Cluster 集群故障排查与解决方案
  3. Ⅲ 故障分析 | redis cluster 从库无法自动恢复同步案例一则
  4. Ⅳ 【Redis 技术探索】「故障排查」带你总体分析和整理 Redis 的连接失败问题排查和解决指南及方案
  5. Ⅴ FAQ
A A

Redis 集群节点间通信失败报错 CLUSTERBUSY 通常表明节点负载过高、正在处理耗时命令或网络拥塞导致无法及时响应集群总线消息。解决该问题首先需要检查 Redis 慢日志，识别并优化耗时命令；其次检查节点间网络状态，确保带宽和延迟正常；若节点内存或 CPU 飙升，需考虑扩容或重启节点；同时检查客户端连接池配置，避免连接耗尽。参考以下集群故障排查方案，通过 cluster nodes 检查状态，必要时重启异常节点或调整集群配置以恢复通信。

集群常见报错及解决方案

1.1.1 问题现象 1.1.2 报错原因 某个节点出现异常或已经宕掉，无法继续在 Redis 集群中提供服务。1.1.3 解决方案 1) 登录 Redis 集群，输入 cluster nodes 检查 Redis 集群状态，如下所示：./redis-cli -h ip -p 端口 -a 密码 #客户端远程连接某个节点，输入对应的 ip、端口、密码 当检查到某个 Redis 节点是宕机 (fail) 状态，请及时检查该 Redis 节点进程，若进程还在，则 kill 掉进行重启，若进程不在，则直接启动该节点，启动后再次进行检查是否恢复。2) 如果想进一步确认 Redis 集群的可用性，可以连接某个主节点 (master) 测试是否能够写入 key 正常情况如下所示：异常情况如下所示：当检测到 Redis 集群是无法写入 (down) 的状态时，此种异常较为罕见，建议重启整个 Redis 集群。

Redis Cluster 集群故障排查与解决方案

Redis Cluster 是 Redis 提供的分布式解决方案，主要由以下几个组成部分：多个节点组成的集群 (每个节点独立运行) 路由层 (每个集群节点会留存一份整个集群节点状态表，通过编制集群各节点的状态表信息以及使用 CRC16 算法对 Key 进行 Hash，计算节点 ID 来路由访问请求) 数据复制 (节点间进行数据同步，保证数据一致性) 二、集群故障排查 2.1 故障分类及原因分析 集群无法访问 可能原因：网络故障 集群节点故障 集群配置错误 集群节点掉线 可能原因：节点宕机或重启 网络连接发生异常 集群数据丢失或不一致 可能原因：节点宕机造成的数据丢失 网络传输发生异常，导致数据不一致 2.2 故障排查流程 如果 Redis Cluster 集群出现故障，可以按照以下步骤逐步排查：检查日志文件，确认集群中哪个节点发生了什么故障。

故障分析 | redis cluster 从库无法自动恢复同步案例一则

线上有一套 6 节点 redis cluster ,6 分片 * 2 副本，每个节点上 2 个实例，端口号分别为 7000 和 7001。腊月 29 凌晨，有个节点硬件故障导致自动重启，重启后该节点上的实例变成从库，却迟迟无法完成和新主库的同步进而触发报警。redis 版本为 5.0。诊断 登录该节点，查看 redis 的日志 代码语言:sql AI 代码解释 22996:S20Jan202307:27:15.091*ConnectingtoMASTER172.18.2.46:700122996:S20Jan202307:27:15.091*MASTER<‐>REPLICA sync started22996:S20Jan202307:27:15.106*Non blockingconnectforSYNC fired the event.22996:S20Jan202307:27:15.106*Master repliedtoPING,replicationcancontinue22996:S20Jan202307:27:15.106*Trying apartialresynchronization(request174e5c92c731090d3c9a05f6364ffff5a70e61d9:7180528579709).

【Redis 技术探索】「故障排查」带你总体分析和整理 Redis 的连接失败问题排查和解决指南及方案

当你的应用服务在连接 Redis 时出现了拒绝连接的场景，首先你可以根据调整 Redis 实例参数 maxclients 的配置。maxclients 代表着最大同时连接的客户端个数，Proxy 集群实例不支持该参数，取值范围 1,000～50,000，默认值:10,000，可以调整的再大一些。客户端拒接连接问题 如果你使用的是集群模式，而使用客户端连接进行连接 Cluster 集群 时，连接失败出现 Read timed out 或 Could not get a resource from the pool。分析排查方向 排查是否使用了 keys 命令，keys 命令会消耗大量资源，造成 Redis 阻塞。建议使用 scan 命令替代，且避免频繁执行。当 Redis 数据持久化即 AOF 时，会触发偶现的磁盘性能问题，导致连接异常，可更换 Redis 所在磁盘升级为 ssd 盘，磁盘性能更高，或若不需要持久化可关闭 AOF。

FAQ

问：Redis 集群节点通信失败的主要原因有哪些？

Redis 集群节点间通信失败报错 CLUSTERBUSY 怎么解决？

答：主要原因包括网络故障、集群节点宕机或重启、集群配置错误、节点间通信不畅、节点负载过高导致 FullGC 或资源耗尽。

问：如何检查 Redis 集群节点的状态？

答：可以通过登录 Redis 集群，输入 cluster nodes 命令检查 Redis 集群状态，查看节点是否处于宕机 (fail) 状态或掉线。

问：遇到节点同步失败报错该如何处理？

答：应检查节点间通信、网络状态是否正常，若有异常则及时进行调整，必要时重启节点工程或检查内存/CPU 占用情况。