故障复盘

«结论先行：Go 服务里有一类事故长得很像「资源泄漏」，其实一个 goroutine 都没漏——它们都好好地阻塞在某个「永远不会醒」的等待里，因为发起等待的那个 context 在上游被吞掉了。"pprof" 看 goroutine 数量只

背景 做了 3 年 SRE，经历过十几次 P1 级故障复盘，也见过另外两家团队的做法，慢慢发现"blameless postmortem"这个词，每家落地姿势差异极大。有人把它当成"甩锅防火墙"，有人把它当成"真·无责复盘"，还有人把它当

背景 做了 5 年 SRE，经手过 20 多次 P0/P1 复盘。我先后在两种文化下待过： - A 团队（blameless 派）：复盘文档模板里根本没有"操作人"一栏，只写"某变更由 on-call 执行"。 - B 团队（点名派）：复盘

【背景】 最近主持复盘一起 P2：订单服务调支付网关偶发 5xx，框架默认开了「失败重试 3 次」，看起来是无害的兜底。结果支付侧当晚收到了约 4 倍的重复请求，风控直接把我们拉黑 30 分钟，业务全链路瘫痪。事后一查：支付网关对部分 5x

«结论先行：在分布式系统里，本地时钟不是可靠的同步原语。任何"基于时间戳判断先后"的逻辑，都应该有一个"单调 token"作为兜底。这次 8 秒的 step，把三条都假设了"时钟单调"的链路同时打穿。» 一、现象：三条监控曲线在同一分钟里同

«结论先行：「磁盘打满」是应用层故障里少数完全不会出现在应用日志里的类型——因为日志本身就写不下去。更坑的是，logback 在写盘失败时的默认行为不是「静默降级」，而是把异常打到 "System.err"，而容器里 "System.err

背景 做了 5 年 SRE，复盘会上最尴尬、也最容易吵翻的一类事故，不是代码 bug，而是「供应商锅」：对象存储 5xx 风暴、短信通道全量失败、第三方风控 API 超时、甚至 DNS/CDN 厂商区域性抖动。这类故障的共同点是——根因不在

背景 干了 10 年运维，从 3 人小团队到 200 人的 SRE 组织都待过，主持过上百次故障复盘。有一个话题每次都要吵，而且每次吵完都"各打五十大板"——复盘到底该追责到人，还是只追流程？ 我见过两种极端： - 追责派：某次 P0 是某