Kafka

一、现象与背景：重启后不是丢一条，是丢「一批」，而且对账还是平的 先给结论：消费端「攒批落库」时，"offset 提交" 和 "批量 flush 到 MySQL" 这两步谁先谁后，直接决定了故障时你是「静默丢数据」还是「可幂等吸收的重复」。

【背景】 Kafka 3.5（3 broker，rack 分布，ISR=2），topic "order-flow" 32 分区，producer 8 实例（Spring Kafka 3.1，每实例一个 producer 对象），日均约 18

一、现象与背景：消费端不是慢，是「停摆」 去年我们做支付对账链路，Kafka 3.5（3 节点 KRaft），"pay-settle" topic 16 分区、峰值约 6.2 万 msg/s，消费组 4 实例，"isolation.leve

背景 社区里 K8s 版本升级的姿势已经聊过一轮（滚动 / 蓝绿 / 双集群并存），但消息队列这类有状态中间件的大版本升级，我观察到的分歧远比 K8s 大，而且很少有人正面摊开讲。 我 5 年中间件研发，经历过三次 MQ 大版本切换：一次

【背景】 订单结算服务，Kafka 3.5（3 broker，ISR=3），topic "settle-bill" 12 分区，消费组 6 实例，"max.poll.records=200"。单条消费逻辑是「校验 → 写 MySQL 8.0

一、现象与背景 去年 9 月，我们做租户隔离改造，把 "event-bus" topic（Kafka 3.5，KRaft 模式，3 broker，32 分区）的生产者从默认 round-robin 换成了自定义 Partitioner——按

«结论先行："linger.ms" 不是「给消息加多少毫秒延迟」的旋钮，而是批次（RecordBatch）的等待窗口；真正决定一条消息何时上路的，是 batch 队列里 batch 的三种刷盘触发路径——批满、超时、"flush()" 显式

【背景】 我们做账户余额变动这条链路：Kafka 3.5（3 broker），topic "account-credit" 24 分区，生产端用 transactional producer（PID 前缀 "acct-"，"transact

一、现象：交换机一断，ISR 就缩了，但没有任何人报错 去年 12 月，我们做 IDC 搬迁演练，把 6 台 Kafka 3.5 broker（KRaft 模式，3 个 rack × 2 台）的 rack-B 交换机直接拔线，模拟整机架断电

【背景】 我们用 Kafka 3.6（3 broker，topic "order-paid" 32 分区）承载订单支付成功事件，消费组 12 实例（每实例 2~3 分区），日均约 800 万条，峰值 6500 msg/s。消费逻辑如下： 1

【背景】 我们用 Kafka 3.6（3 broker，topic "order-event" 64 分区）承载订单事件分发链路：消费组 16 实例（每实例 4 分区），日均约 3000 万条，峰值 12000 msg/s。下游是 gRPC

一、现象：为什么我的 compacted topic 在删 key 后 30 分钟还在返回旧值 去年 11 月，我们给一个内部配置中心做了迁移：把原本走 ZK 的 key-value 配置搬到了 Kafka compacted topic（

【背景】 我们订单履约链路用 Kafka 3.5（3 节点）传事件，topic "order-fulfill" 16 分区，消息体是裸 JSON（没有 Avro/Schema Registry），生产端是 3 个微服务版本不一致地灰度发布，

背景：做订单/支付/库存这类异步链路时，"顺序"几乎是每个团队绕不开的关键词。Kafka 用一个 partition 天然保证 per-key 有序，大家也默认"保证顺序"是理所当然的事。但真正落到生产里，顺序是最容易被悄悄打破、又最难被察

«结论先行："acks=all" 只保证"broker 收到了才会回 ack"，不保证"我下一批数据不依赖上一批的 ack 顺序"。当 "max.in.flight.requests.per.connection > 1" 且 "enabl

【背景】 我做订单履约服务，Kafka 3.5（3 节点），topic "order-fulfill" 16 分区，实时消费组 8 实例，日均约 4000 万条，消费逻辑是「读 batch → 写 MySQL 8.0 → 提交 offset

【背景】 订单履约链路，Kafka 3.5（3 broker，KRaft）。事务生产者：enable.idempotence=true，transactional.id=order-fulfil-{instance}，同一个事务内顺序写三个

【背景】 K8s 1.29 + Kafka 3.5（3 broker，ISR=3），消费组 12 实例（K8s Deployment，maxSurge=1 / maxUnavailable=0），topic "order-pay" 32 分

一、现象与背景 去年我们做支付事件链路治理时，撞上一个很「安静」的事故："pay-event" topic（Kafka 3.4，3 broker，32 分区，消费组 16 实例，日均约 280 万条，大促峰值 8200 msg/s）的 la

背景：团队里只要一动到消息中间件，绕不开的一个老问题是投递语义。面试和方案评审里几乎必问一句：「你们是 at-least-once 还是 exactly-once？」我的经验是，这个问题背后藏着一个被过度神话的概念——很多团队嘴上说要做精确