RabbitMQ消息重复消费怎么保证幂等

文章导读
RabbitMQ 默认是「至少投递一次」:消费者处理完但 ack 丢了、nack 后 requeue、连接闪断后未确认消息重新入队,都会让同一条消息再投一次。Broker 端没有通用的去重开关,幂等只能落在消费端:选一个稳定的业务唯一键作为去重键,把「记录已处理」和「执行业务」放进同一个本地事务,让数据库唯一约束去裁决并发和重投。判断这件事是否必须做,先看消费逻辑有没有副作用——纯查询、覆盖式写入
📋 目录
  1. 壹 先确认当前场景和目标
  2. 贰 按这个顺序处理
  3. 叁 改完后怎么验证
  4. 肆 容易忽略的边界
A A

RabbitMQ 默认是「至少投递一次」:消费者处理完但 ack 丢了、nack 后 requeue、连接闪断后未确认消息重新入队,都会让同一条消息再投一次。Broker 端没有通用的去重开关,幂等只能落在消费端:选一个稳定的业务唯一键作为去重键,把「记录已处理」和「执行业务」放进同一个本地事务,让数据库唯一约束去裁决并发和重投。判断这件事是否必须做,先看消费逻辑有没有副作用——纯查询、覆盖式写入通常天然幂等,扣款、发券、发短信、调第三方接口就必须做。

重复消费无法在 RabbitMQ 侧消除,只能靠消费端幂等。方向是:用手动 ack 加业务唯一键做去重,去重表和业务数据写在同一事务里,靠主键或唯一索引冲突来识别重复;Redis SETNX 只能当前置挡板,最终一致性仍以数据库为准。前提是消息体里有稳定的业务唯一键,若只有随机 messageId 或内容哈希,先去生产端补字段,否则这套方案不成立。

先确认当前场景和目标

先把下面几项确认清楚,再决定幂等做到什么颗粒度。这几项不清楚,后面写的去重代码很可能挡不住真正的重复来源。

  • ack 模式:是否手动 ack,异常路径是 basicNack 重回队列、进死信,还是直接丢弃。重回队列会带来同一消息的反复投递,这是最常见的重复来源。
  • 消息体里的唯一键:是否有订单号、支付流水号、业务单据号这类由业务生成、重投时不变的字段。messageId 在 Broker 重投时通常不变,但生产者重发、多生产者场景下会变,只做兜底不能当主键用;对消息内容做哈希也不可靠,两条内容相同但业务上应当分别处理的消息会被误判为重复。
  • 重复的范围:是单个消费者实例内重复,还是多个实例、多个队列同时消费同一条消息。前者可以用本地缓存挡,后者必须走共享存储。
  • 业务是否可分步:一次消费里有没有部分成功的情况,比如扣款成功但通知失败。这种消息重投时不能简单按「整条已处理」跳过。
  • 下游能力:数据库是否支持唯一索引或 INSERT ... ON CONFLICT 这类冲突语法;去重键是否跨库分片。

目标可以定得很具体:同一条业务消息无论被投递几次,业务数据只产生一次副作用,并且每次都能正常 ack,不把已经处理过的消息堆进死信。

按这个顺序处理

第一步选去重键。优先用业务唯一键,形如「业务单号 + 操作类型」,这样同一单的不同操作不会互相覆盖。第二步建去重表,把去重键做成主键或唯一索引,让数据库承担判重工作,而不是先 SELECT 再 INSERT——后者在并发消费下存在竞态窗口,两个消费者可能同时查不到再同时插入。

CREATE TABLE consume_dedup (
  scene      VARCHAR(64)  NOT NULL,  -- 消费场景,如 order_paid
  biz_key    VARCHAR(128) NOT NULL,  -- 业务唯一键,如 订单号:操作
  created_at DATETIME     NOT NULL,
  PRIMARY KEY (scene, biz_key)
);

第三步把去重记录和业务写入放进同一个本地事务。去重表与业务表同库时,这是最省事也最可靠的做法;跨库时不要强行分布式事务,改成在业务表上用状态机做条件更新(例如 UPDATE ... SET status='已处理' WHERE id=? AND status='待处理'),用受影响行数是否为 1 判断本次是否真正处理。

// 以 Java 客户端为例的通用骨架,按实际客户端改写
void onMessage(Message msg) {
    String key = msg.orderNo + ":" + msg.action;
    try {
        tx.begin();
        dedupMapper.insert("order_paid", key);   // 主键冲突抛 DuplicateKeyException
        orderService.apply(msg);                 // 真正的业务写入
        tx.commit();
    } catch (DuplicateKeyException e) {
        log.info("duplicate skipped, key={}", key);  // 已处理过,走正常 ack
    } catch (Exception e) {
        channel.basicNack(msg.getDeliveryTag(), false, true);
        return;
    }
    channel.basicAck(msg.getDeliveryTag(), false);
}

第四步处理并发挡板。流量集中时,可以在业务处理前加一层 Redis:SET dedup:{scene}:{bizKey} 1 NX EX 86400,返回 OK 视为首次,返回 nil 视为重复直接 ack。这一层只用于减少数据库无效写入,不能替代唯一约束,因为 Redis 重启、主从切换都可能丢键。第五步设去重表的保留时长,要覆盖最长的重投窗口——重试次数乘以重试间隔,再加上人工补发的时间,清理任务按这个窗口归档,不要拍脑袋设成一天。

RabbitMQ消息重复消费怎么保证幂等

改完后怎么验证

验证不要只看正常链路,要主动制造重复。可以用管理界面把同一条消息重新发布一次,或者在测试代码里直接以相同 payload 调两次消费方法,然后检查三处信号:业务表里对应的记录只有一条;去重表里该 scene + biz_key 只有一行;日志里出现 duplicate skipped 且该消息最终被 ack,没有停留在 Unacked 或进入死信队列。

第二步验证并发。用两个消费者实例消费同一个队列,人为让同一消息短时间重复投递,观察是否出现唯一键冲突异常被正确捕获、事务回滚后业务没有写入半条数据。第三步验证异常路径:在业务方法里人为抛异常,确认消息不 ack、重回队列后能再次进入消费逻辑,并且重复进入时被去重表挡住。

可观察的信号包括:消费日志中重复命中的条数、去重表的增长速率、死信队列是否有堆积、数据库唯一键冲突次数。这些只用于判断逻辑是否生效,具体数值要结合自己的流量基线看,不宜照搬别人的阈值。

容易忽略的边界

  • 去重键缺失或不稳定:消息体里只有随机 ID 或时间戳时,这套方案直接不成立,要去生产端补业务唯一键;临时兜底可以先用业务状态机的条件更新,效果不如唯一键,但比完全不做要好。
  • 部分成功的消息:一次消费包含多个子步骤时,按整条消息去重会把没做完的步骤一起跳过。应把去重粒度下沉到子步骤,或者记录每个子步骤的完成状态。
  • 分库分表:唯一索引只在单个分片内有效,去重键必须和分片键路由一致,否则判重会漏。
  • 去重表清理过早:清理窗口短于重投窗口时,迟到的重投会重新穿透。清理任务上线前先确认重试策略和死信保留时间。
  • ack 时机:先 ack 再执行业务,等于放弃了重试;先执行业务再 ack 是常规做法,但要接受重复投递,这正是幂等存在的原因。不要为了「看起来不重复」而改成自动 ack,那会把消息丢失的风险换进来。

回退建议:如果一时补不上业务唯一键,可以先把消费端改为手动 ack 加业务状态机条件更新,把重复带来的影响限制在可控范围,再排期让生产端补字段,不要在没有唯一键的情况下继续扩大消费并发。