Kafka 消费者重复消费问题排查：为何调整自动提交间隔无效？

对于要求数据准确性的业务场景，单纯调整 Kafka 消费者 offset 自动提交间隔无法完全避免重复消费。真正可靠的做法是关闭自动提交改用手动提交，或在业务层面实现幂等处理。如果必须使用自动提交，需将间隔时间设置得比消息处理最长时间更短，并配合合理的重试机制，但这仍存在风险。

为什么会这样

Kafka 消费者的 offset 提交机制有两种：自动提交和手动提交。自动提交由 Kafka 客户端后台线程定期执行，默认每 5 秒提交一次。

关键问题在于：自动提交的是已拉取的 offset，而非已处理完成的 offset。这意味着消费者拉取一批消息后，即使还没处理完，只要到了提交间隔时间，offset 就会被标记为已消费。

举个例子：消费者拉取了 offset 100-110 的消息，自动提交线程在 5 秒后提交 offset 110。如果此时消息处理到 offset 105 时消费者崩溃重启，Kafka 会认为 100-110 都已消费，从 111 继续，导致 105-110 的消息永久丢失。反过来，如果处理完成但 offset 还没提交就崩溃，重启后会从上次提交的位置重新消费，造成重复。

所以单纯调整自动提交间隔，只能在一定程度上降低风险，无法从根本上解决问题。

配置与代码实现

如果你正在被重复消费问题困扰，建议按以下顺序处理：

第一步：关闭自动提交

检查当前配置中enable.auto.commit是否为true，如果是且业务对数据一致性有要求，先改为false。

# Spring Boot 配置
spring:
  kafka:
    consumer:
      enable-auto-commit: false
      auto-commit-interval: 5000

# 原生 Kafka 配置
props.put("enable.auto.commit", "false");
props.put("auto.commit.interval.ms", "5000");

第二步：实现手动提交（Spring Boot）

在消息处理完成后显式提交 offset。Spring Kafka 支持通过注入Acknowledgment对象来实现手动 ack。

@KafkaListener(topics = "user-register")
public void handleRegister(User user, Acknowledgment ack) {
    try {
        // 业务处理逻辑
        emailService.sendWelcomeEmail(user);
        // 处理完成后手动提交
        ack.acknowledge();
    } catch (Exception e) {
        log.error("处理失败", e);
        // 根据业务决定是否重试或记录失败，此时不要调用 ack.acknowledge()
        // 下次重启会重新消费该消息
    }
}

第三步：实现手动提交（原生 Kafka）

如果使用原生 Kafka Consumer，需在消费循环中调用提交方法。

try {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        // 业务处理逻辑
        process(record);
    }
    // 处理完一批后同步提交
    consumer.commitSync();
} catch (Exception e) {
    // 处理异常，不提交 offset
}

怎么验证是否生效

验证配置是否生效，可以从以下几个方面检查：

1. 查看消费者组 offset 提交情况

使用 Kafka 命令行工具查看 offset 变化：

kafka-consumer-groups.sh `--bootstrap-server` localhost:9092 `--describe` `--group` your-group-id

观察 LAG（消费滞后）和 CURRENT-OFFSET 的变化，确认 offset 是否在消息处理后正常推进。

2. 检查应用日志

确认没有频繁的 Rebalance 发生。如果日志中出现Consumer heartbeat failed或Rebalance相关警告，可能需要调整session.timeout.ms和heartbeat.interval.ms。

3. 模拟消费者重启

手动停止消费者进程后重启，检查是否有消息重复或丢失。如果是手动提交且逻辑正确，重启后应从上次成功提交的位置继续消费。

常见坑

• 自动提交间隔设置：设置过短会增加 Broker 负担，设置过长会增加消息丢失风险。默认 5000ms 是通用值，公开资料中没有看到可靠的量化数据说明具体多少毫秒最合适，需根据业务耗时评估。
• 拉取数量与超时：max.poll.records设置过大会导致单次拉取过多消息，如果处理时间超过max.poll.interval.ms会触发重平衡，导致重复消费。
• 消费者组实例数：消费者组内实例数量不要超过分区数量，否则会有实例分配不到分区而空跑。
• 手动提交异常处理：如果处理失败但 offset 已提交，消息会丢失；如果处理成功但提交失败，会重复消费。建议在提交前确认业务逻辑已完整执行，catch 块中不要提交 offset。
• Spring Boot ack-mode：Spring Boot 的ack-mode配置会影响提交行为，BATCH模式会在整批消息处理完成后提交，RECORD模式会逐条提交，需根据业务选择。使用Acknowledgment参数时通常需配合MANUAL模式。