RabbitMQ 默认是「至少投递一次」:消费者处理完但 ack 丢了、nack 后 requeue、连接闪断后未确认消息重新入队,都会让同一条消息再投一次。Broker 端没有通用的去重开关,幂等只能落在消费端:选一个稳定的业务唯一键作为去重键,把「记录已处理」和「执行业务」放进同一个本地事务,让数据库唯一约束去裁决并发和重投。判断这件事是否必须做,先看消费逻辑有没有副作用——纯查询、覆盖式写入通常天然幂等,扣款、发券、发短信、调第三方接口就必须做。
重复消费无法在 RabbitMQ 侧消除,只能靠消费端幂等。方向是:用手动 ack 加业务唯一键做去重,去重表和业务数据写在同一事务里,靠主键或唯一索引冲突来识别重复;Redis SETNX 只能当前置挡板,最终一致性仍以数据库为准。前提是消息体里有稳定的业务唯一键,若只有随机 messageId 或内容哈希,先去生产端补字段,否则这套方案不成立。
先确认当前场景和目标
先把下面几项确认清楚,再决定幂等做到什么颗粒度。这几项不清楚,后面写的去重代码很可能挡不住真正的重复来源。
- ack 模式:是否手动 ack,异常路径是 basicNack 重回队列、进死信,还是直接丢弃。重回队列会带来同一消息的反复投递,这是最常见的重复来源。
- 消息体里的唯一键:是否有订单号、支付流水号、业务单据号这类由业务生成、重投时不变的字段。messageId 在 Broker 重投时通常不变,但生产者重发、多生产者场景下会变,只做兜底不能当主键用;对消息内容做哈希也不可靠,两条内容相同但业务上应当分别处理的消息会被误判为重复。
- 重复的范围:是单个消费者实例内重复,还是多个实例、多个队列同时消费同一条消息。前者可以用本地缓存挡,后者必须走共享存储。
- 业务是否可分步:一次消费里有没有部分成功的情况,比如扣款成功但通知失败。这种消息重投时不能简单按「整条已处理」跳过。
- 下游能力:数据库是否支持唯一索引或
INSERT ... ON CONFLICT这类冲突语法;去重键是否跨库分片。
目标可以定得很具体:同一条业务消息无论被投递几次,业务数据只产生一次副作用,并且每次都能正常 ack,不把已经处理过的消息堆进死信。
按这个顺序处理
第一步选去重键。优先用业务唯一键,形如「业务单号 + 操作类型」,这样同一单的不同操作不会互相覆盖。第二步建去重表,把去重键做成主键或唯一索引,让数据库承担判重工作,而不是先 SELECT 再 INSERT——后者在并发消费下存在竞态窗口,两个消费者可能同时查不到再同时插入。
CREATE TABLE consume_dedup (
scene VARCHAR(64) NOT NULL, -- 消费场景,如 order_paid
biz_key VARCHAR(128) NOT NULL, -- 业务唯一键,如 订单号:操作
created_at DATETIME NOT NULL,
PRIMARY KEY (scene, biz_key)
);
第三步把去重记录和业务写入放进同一个本地事务。去重表与业务表同库时,这是最省事也最可靠的做法;跨库时不要强行分布式事务,改成在业务表上用状态机做条件更新(例如 UPDATE ... SET status='已处理' WHERE id=? AND status='待处理'),用受影响行数是否为 1 判断本次是否真正处理。
// 以 Java 客户端为例的通用骨架,按实际客户端改写
void onMessage(Message msg) {
String key = msg.orderNo + ":" + msg.action;
try {
tx.begin();
dedupMapper.insert("order_paid", key); // 主键冲突抛 DuplicateKeyException
orderService.apply(msg); // 真正的业务写入
tx.commit();
} catch (DuplicateKeyException e) {
log.info("duplicate skipped, key={}", key); // 已处理过,走正常 ack
} catch (Exception e) {
channel.basicNack(msg.getDeliveryTag(), false, true);
return;
}
channel.basicAck(msg.getDeliveryTag(), false);
}
第四步处理并发挡板。流量集中时,可以在业务处理前加一层 Redis:SET dedup:{scene}:{bizKey} 1 NX EX 86400,返回 OK 视为首次,返回 nil 视为重复直接 ack。这一层只用于减少数据库无效写入,不能替代唯一约束,因为 Redis 重启、主从切换都可能丢键。第五步设去重表的保留时长,要覆盖最长的重投窗口——重试次数乘以重试间隔,再加上人工补发的时间,清理任务按这个窗口归档,不要拍脑袋设成一天。

改完后怎么验证
验证不要只看正常链路,要主动制造重复。可以用管理界面把同一条消息重新发布一次,或者在测试代码里直接以相同 payload 调两次消费方法,然后检查三处信号:业务表里对应的记录只有一条;去重表里该 scene + biz_key 只有一行;日志里出现 duplicate skipped 且该消息最终被 ack,没有停留在 Unacked 或进入死信队列。
第二步验证并发。用两个消费者实例消费同一个队列,人为让同一消息短时间重复投递,观察是否出现唯一键冲突异常被正确捕获、事务回滚后业务没有写入半条数据。第三步验证异常路径:在业务方法里人为抛异常,确认消息不 ack、重回队列后能再次进入消费逻辑,并且重复进入时被去重表挡住。
可观察的信号包括:消费日志中重复命中的条数、去重表的增长速率、死信队列是否有堆积、数据库唯一键冲突次数。这些只用于判断逻辑是否生效,具体数值要结合自己的流量基线看,不宜照搬别人的阈值。
容易忽略的边界
- 去重键缺失或不稳定:消息体里只有随机 ID 或时间戳时,这套方案直接不成立,要去生产端补业务唯一键;临时兜底可以先用业务状态机的条件更新,效果不如唯一键,但比完全不做要好。
- 部分成功的消息:一次消费包含多个子步骤时,按整条消息去重会把没做完的步骤一起跳过。应把去重粒度下沉到子步骤,或者记录每个子步骤的完成状态。
- 分库分表:唯一索引只在单个分片内有效,去重键必须和分片键路由一致,否则判重会漏。
- 去重表清理过早:清理窗口短于重投窗口时,迟到的重投会重新穿透。清理任务上线前先确认重试策略和死信保留时间。
- ack 时机:先 ack 再执行业务,等于放弃了重试;先执行业务再 ack 是常规做法,但要接受重复投递,这正是幂等存在的原因。不要为了「看起来不重复」而改成自动 ack,那会把消息丢失的风险换进来。
回退建议:如果一时补不上业务唯一键,可以先把消费端改为手动 ack 加业务状态机条件更新,把重复带来的影响限制在可控范围,再排期让生产端补字段,不要在没有唯一键的情况下继续扩大消费并发。