监控粒度与资源消耗的平衡艺术：如何在系统稳定性与可观测性之间取舍？

【背景】 在分布式系统中，监控是稳定性基石，但过度监控会引发资源争抢、数据噪声甚至成为性能瓶颈。我们曾因监控埋点密度超标导致 JVM 垃圾回收频率翻倍，也见过因监控采样率不足错过的 P99 抖动。

【常见分歧】

1. 全量监控派：认为「能埋就能看」，用 Prometheus 每秒采集 100+ 指标，通过 Grafana 实时看板覆盖所有组件
2. 精准监控派：主张「问题导向」，只在核心链路埋关键指标（如 HTTP 5xx 响应率、数据库 P99 延迟）
3. 动态监控派：用 APM 工具自动识别高价值链路，按业务价值动态调整采样率

【我的倾向】 倾向动态监控+阈值预警组合：

• 基础层：用 OpenTelemetry 拦截 100% 事务，但默认采样率 0.1%
• 核心链路：对支付/下单等高价值路径，手动提升采样率到 100%
• 告警策略：对 P99 延迟等指标设置动态阈值（如 200ms → 220ms 时触发预警）

【想听你的观点】 你在哪些场景下会调整监控策略？

• 面对突发流量时如何临时扩展监控维度？
• 如何判断某个埋点是否已成为性能瓶颈？
• 是否遇到过监控数据误报导致的误判？