Kafka生产者重试策略：避免重复发送
在实际生产环境中，Kafka生产者重试机制是消息可靠传递的核心保障，但过度的重试往往导致重复消息问题。本文基于真实部署经验，分享如何通过合理配置避免重复发送。
问题现象
在某电商平台订单系统中，我们发现部分订单消息出现重复处理现象。通过监控发现，生产者在发送失败后进行了多次重试，最终导致同一订单被处理2-3次。
核心配置参数
# 重试次数设置（关键参数）
retries=3
# 重试间隔时间
retry.backoff.ms=1000
# 消息发送超时
request.timeout.ms=30000
# 是否启用幂等性
enable.idempotence=true
关键解决方案
1. 启用幂等性配置
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("enable.idempotence", "true");
props.put("retries", 3);
props.put("max.in.flight.requests.per.connection", 1);
2. 设置合理的重试间隔 避免过于频繁的重试，设置retry.backoff.ms=1000，给Broker足够时间恢复。
实际部署验证步骤
- 测试环境验证：在测试集群中模拟网络抖动，观察消息重复情况
- 生产环境配置：逐步将
retries从5调整为3，并监控重复消息数量 - 监控告警设置：对重复消息率设置阈值告警（<0.1%）
性能调优建议
- 将
max.in.flight.requests.per.connection设为1以保证顺序性 - 合理设置
request.timeout.ms避免超时重试 - 监控
ProducerSendLatencyMs指标，及时发现网络问题
通过以上配置，我们成功将重复消息率从0.3%降低至0.02%，显著提升了系统可靠性。
讨论