背景
我做了 15 年数据管道，见过太多"削峰"方案，但每次架构评审一坐下来，团队对"削峰该在哪一层做"的共识程度约等于零。
举几个我亲历的场景：
- 一个支付回调链路，峰值 30k QPS，日常 5k。团队在应用层加了一个 LinkedBlockingQueue（容量 10 万），上游超时 2s。结果：峰值时队列堆到 8 万，消费端逐条写 MySQL（P99 从 3ms 飙到 40ms），GC 压力把 Young GC 间隔从 2s 拉到 12s——削峰削成了"延迟放大器"。
- 另一个团队把削峰全交给 Kafka（5 分钟窗口攒批），下游批写 Redis。结果：Redis 端 P99 稳定 1ms，但数据可见性延迟从 200ms 变成了 5 分钟，业务方炸了。
- 第三个团队在 MySQL 端用
FOR UPDATE SKIP LOCKED做任务队列，worker 消费时自然排队。结果：热 key 场景下单行锁排队 200ms+，消费 lag 堆积到分钟级——存储层排队扛不住热 key。
三种方案各自都在"削峰"，但削出来的"峰"形态完全不同： | 层级 | 削掉的是什么 | 代价是什么 | |---|---|---| | 消息队列（Kafka/RocketMQ） | 时间窗口内的突发写入 | 数据可见性延迟、broker 故障域 | | 应用层缓冲（内存队列） | 同实例内的突发并发 | 内存占用、GC 压力、实例级故障 | | 存储层排队（锁/队列表） | 同 key 的并发写 | 热 key 锁排队、消费 lag |
常见分歧
我观察到团队里通常有三派：
派系 A："削峰是消息队列的活" 理由：Kafka 天然就是削峰组件，broker 磁盘顺序写 + 分区并行，比应用层内存队列更可靠、更可观测。应用层不该自己管队列，那是职责越界。
派系 B："削峰是应用层的活，消息队列只是传输" 理由：消息队列的削峰粒度太粗（topic 级别），而真正的瓶颈往往是"同一条链路上某个慢下游"。应用层可以根据下游 RT 动态调整消费速率（自适应背压），这比 Kafka 的固定消费组模型更灵活。
派系 C："削峰是存储层的活，让数据库自己排队"
理由：InnoDB 的行锁 + redo log 天然就是一个"有序排队"机制。SKIP LOCKED 把并发写变成串行写，避免了应用层的复杂调度。数据库是最终瓶颈，在它前面排队最"自然"。
我的倾向与理由
我 15 年的经验告诉我：没有"正确的那一层"，只有"正确的那组组合"。但有一个判断框架我反复验证过：
核心判据：你的瓶颈是"吞吐"还是"延迟"？
-
瓶颈是吞吐（峰值 QPS 超过下游持续处理能力）→ 削峰必须发生在消息队列层。因为内存队列撑不住 30k QPS × 2s 的积压量（30k × 2 × 200B ≈ 12MB/实例，4 实例 = 48MB，看起来不多；但如果单条 2KB，就是 480MB——GC 会先杀你）。消息队列把"时间换空间"做到了极致：磁盘顺序写 + 多分区并行，30k QPS 峰值 5 分钟攒完，下游按 5k 持续消费，不抖。
-
瓶颈是延迟（下游 P99 偶发尖刺，但平均吞吐够用）→ 削峰应该发生在应用层。因为消息队列的"攒批"会把尖刺变成"均匀但慢"，而你需要的是"大部分请求 5ms 完成，少数请求 50ms 完成"。应用层的自适应背压（比如 token bucket + 动态窗口）可以做到"快请求不排队，慢请求排队"——这是消息队列做不到的粒度。
-
瓶颈是并发写同一行（热 key）→ 削峰必须发生在存储层或应用层的 key 级串行化。因为前两层都是"无差别排队"，而热 key 需要的是"同 key 串行、不同 key 并行"。
SKIP LOCKED或应用层 per-key 串行化（桶化）是唯一能区分 key 的方案。
所以我的结论是：三层不是"三选一"，而是"按瓶颈定位到具体层"。 但大多数团队的架构评审跳过了"定位瓶颈"这一步，直接选了"最顺手的那层"——这就是事故之源。
想听大家的选择
-
你们团队的削峰方案是"单层"还是"多层"？如果是多层，怎么决定"哪层管哪个瓶颈"？ 有没有踩过"两层都在削峰、互相干扰"的坑？
-
应用层自适应背压（比如根据下游 P99 动态调整消费速率）你们有在生产跑的吗？用的什么算法（AIMD / token bucket / 固定窗口）？在什么场景下比"固定攒批"效果好，什么场景下反而更差？
-
热 key 场景：你们的 per-key 串行化是在应用层（桶化 + 单线程消费）还是存储层（SKIP LOCKED）？热 key 的判定阈值怎么定？有没有"热 key 判定太晚、已经堵了 30 秒才发现"的事故？
-
一个极端问题：如果你的峰值是日常的 100 倍（比如双 11 0 点），且只能选一层做削峰，你选哪层？为什么？
欢迎带上你的具体数字（QPS、P99、积压量、GC 频率）来聊，纯理论推演容易，但数字一出来取舍就清晰了。