先别急着比性能,先把任务本身过一遍:这类任务丢了会不会造成业务损失、需不需要失败重投和死信、要不要按路由把不同类型的任务分给不同队列、团队现在有没有在运维 Redis 或 RabbitMQ。通常这四件事问完,选型方向就定了大半。一般来说,Redis 更适合以轻量、低延迟为主、能接受偶发任务丢失或重复的队列场景;RabbitMQ 更适合需要可靠投递确认、复杂路由、延迟队列和死信处理的场景。这个判断不是绝对的,最终要结合你们的任务分级和已有基础设施确认。
把任务按「可丢」和「不可丢」分级,再看现有中间件:可丢、量大、追求简单接入的,用 Redis 做 broker 通常够用;涉及资金、库存、对账、通知必达的,优先 RabbitMQ 的持久化队列加手动 ack。判断依据是任务重投代价和运维成本,不是单纯的吞吐对比。切换前用环境变量把 broker 抽出来,保留回退路径。
先确认当前场景和目标
动手选之前,把下面几项信息写清楚,缺一项都可能导致后面返工。
- 任务能否丢失:验证码短信、支付回调补偿、订单状态同步这类任务,丢一条就是一次客诉,属于不可丢;缓存预热、统计聚合、日志清理可以接受偶发丢失。
- 失败后的处理要求:需不需要自动重投、延迟重试、超过次数进死信队列人工处理。需要死信和延迟队列时,RabbitMQ 原生能力更顺;Redis 要靠额外的有序集合或第三方库自己实现。
- 任务类型和路由:只有一两种任务、按队列名分流就够,Redis 的 list 或 stream 也能做;任务种类多、要按 routing key 分发到不同消费者,RabbitMQ 的 exchange 模型更省事。
- 现有基础设施和运维人力:团队已经在跑 Redis 做缓存,复用它只需要多一个 db 或前缀;另起一套 RabbitMQ 集群则要额外考虑监控、磁盘告警、集群恢复演练。
- 任务消息体大小和堆积容忍度:大消息长期堆积对内存型存储不友好,需要评估。
按这个顺序处理
顺序比结论重要,建议按下面几步走,每一步都能独立验证。

- 先做任务分级表。把现有任务列出来,标注「可丢 / 不可丢」「是否需要重试」「是否延迟执行」。这张表是后面所有判断的依据,不要跳。
- 看是否已有中间件。如果线上已经在用 Redis,且分级表里绝大多数任务可丢,可以先用 Redis 做 broker,把不可丢的那几条单独走 RabbitMQ 或同步接口,避免为了少数任务新建一套集群。
- 写最小可运行骨架,把 broker 地址放进配置项,方便后面切换:
# celeryconfig.py —— broker 通过环境变量注入,不写死在代码里
import os
broker_url = os.environ.get("TASK_BROKER_URL", "redis://127.0.0.1:6379/1")
# 换成 RabbitMQ 时只改环境变量:
# amqp://user:pass@127.0.0.1:5672//
task_acks_late = True # 任务执行完再 ack,避免 worker 崩溃丢任务
task_reject_on_worker_lost = True
worker_prefetch_multiplier = 1 # 长任务场景下减少不公平分发
切换 broker 时,不要只改 URL 就上线。Redis 作为 broker 时,消息确认依赖可见性超时机制,需要显式确认客户端库的可见性超时配置;RabbitMQ 需要把队列声明为持久化、消息标记持久化投递、消费者使用手动 ack。这两组参数的具体写法要按你锁定的客户端库版本来核对,不要照抄别处的示例。

- 小流量灰度:先挑一类低风险任务(比如报表生成、非实时的通知)迁到新 broker,跑一段时间再扩大范围。
改完后怎么验证
验证要覆盖正常路径和异常路径,只看到任务跑通不算验证完成。
- worker 崩溃重投:在任务执行中途 kill 掉 worker 进程,重启后确认任务是否被重新投递。这是区分「至少一次」和「可能丢失」的关键动作。
- broker 重启:重启 Redis 或 RabbitMQ 服务,观察未消费任务是否还在。用
redis-cli LLEN 队列名或rabbitmqctl list_queues name messages consumers查看积压和消费者数量。 - 积压观察:短时间灌入一批任务,看队列长度上升后是否能被稳定消费回落到低位,消费者数量是否随负载变化。
- 重复执行检查:在任务里记录唯一键,验证重投场景下是否出现重复处理,业务侧是否有幂等保护。
- 预期信号:任务执行记录与入队数量对得上、worker 重启后无遗漏、日志中没有持续的重连或 ack 异常,才算达到目标。
容易忽略的边界
几个常见的坑,选型时就要想好回退方式。
- Redis 开了持久化也不等于不丢任务。AOF 的刷盘策略、主从切换、内存淘汰策略都可能让队列数据丢失。如果有任务不可丢,不要指望通过调整持久化参数解决,改用支持确认机制的 broker 更稳妥。
- 可见性超时设短会带来重复执行。任务执行时间超过超时时间,消息会被重新投递,形成并发重复处理。要么把超时设得比最长任务时间长,要么给任务加幂等键。
- RabbitMQ 的内存和磁盘告警会阻塞发布端。积压严重时生产者可能被阻塞,需要在业务侧做超时和降级,不要默认发布一定成功。
- 版本与权限:客户端库与 broker 的版本组合、认证方式和 vhost 权限,需要在目标环境里先连通再切流量,具体支持范围以你锁定的版本为准。
- 回退建议:broker 地址走配置项、任务入口做幂等、消费者保留一个可切回旧队列的开关。切换后如果发现重投行为不符合预期,先把流量切回原队列,再排查参数,不要在线上直接调超时值试探。
- 不适用的情况:如果任务只是进程内的异步执行、不需要跨机器分发,用线程池或本地队列即可,引入 Redis 或 RabbitMQ 反而增加故障面。