小分母比率指标为什么会「天天抖」：用最小样本量 + Wilson 置信区间把 62% 的假告警拦在阈值外

结论先行：转化率、客单价、人均时长这类比率指标，在分母（UV / 会话数 / 订单数）小的时候，它的"抖动"不是埋点 bug、也不是数据没回刷，而是二项分布的固有方差——分母 N 越小，单次观测的标准差就越大，你盯着它做环比告警，等于在用一个本身就在抖的量去判断另一个量。本文给一套可复现的「最小样本量准入 + Wilson 置信区间」告警规则，把我们的比率类假告警从 62% 压到 7%。

一、现象与背景（带数字）

我做了 5 年技术文档，这两年帮团队搭指标体系。去年我们上一版指标告警（42 个核心指标，固定阈值 + 3σ 基线，StarRocks 3.2 + DolphinScheduler 3.2 调度），运行 3 个月拉了一次告警复盘：

• 比率类指标（转化率、客单价、人均会话时长、留存率）共 9 个，贡献了全部告警的 41%；
• 其中假告警（业务方判定"没出事"）占 62%，而绝对量指标（UV、订单数、GMV）的假告警率只有 11%；
• 最典型的事故：「新用户次留率」从 38.2% 掉到 35.1%（-3.1pp）触发 P1，值班同学拆了 40 分钟维度归因，最后发现分母（当日新增）只有 217 人——217 个样本里 ±3.1pp 的波动，完全落在随机噪声范围内，不是留存真的掉了。

关键观察：假告警高度集中在"分母小"的比率指标上。大盘转化率分母是百万级 UV，几乎不抖；而"某渠道新客转化率""某活动落地页转化率"分母常常只有几百到几千，天天上下跳。根因不在数据链路的任何一层，而在统计结构本身。

二、原理或根因分析：为什么分母越小、比率越抖

比率指标 rate = 成功数 / 总数（如转化 = 支付订单 / 曝光 UV），本质是一个二项比例。它的单次观测标准差不是常数，而是：

σ(rate) = sqrt( p·(1-p) / N )

其中 p 是真实转化率，N 是分母。把数字代进去，反直觉的地方就出来了：

• 大盘转化率 p=4%，N=1,000,000 → σ ≈ 0.0197pp，几乎纹丝不动；
• 某渠道新客转化率 p=4%，N=2000 → σ ≈ 1.40pp；
• 某活动落地页 p=4%，N=217 → σ ≈ 4.24pp。

也就是说，同一个"真实"4% 的转化率，在 N=217 的样本里，单次观测值在 0%~8% 之间跳是"正常发挥"。你用固定阈值或 3σ 去卡它，等于拿一个标准差就有 4pp 的量做 ±1pp 的告警——62% 的假告警就是这么来的。

更隐蔽的一层是环比/同比告警的方差被放大：两个独立观测 A、B 相减，σ(A-B) = sqrt(σA² + σB²)。当基期分母 300、报告期分母 250 时，"掉 3.1pp"这件事，3.1 / sqrt(4.24²+4.66²) ≈ 0.42，连 1 个标准差都没到，根本不构成异动。我们的旧规则只看绝对差值，没有把"这个差的信噪比"算进去，这是假告警的机制根源。

三、具体做法（可复现）

核心思想：把"是否告警"从"差值超过阈值"改成"差值的置信区间是否跨过 0"，并加一道最小样本量准入（样本不足直接不判，只进观察池）。

1. 最小样本量准入（第一道闸）

分母低于阈值不进入异动判定，避免在小样本上做任何结论。我们按"希望 95% 置信区间宽度 ≤ 2pp"反推：

N ≥ (z/半宽)² · p·(1-p) = (1.96/0.02)² · 0.04·0.96 ≈ 3686

落地取整：比率指标分母 < 1000 直接降级为"观察"，< 300 完全不告警（绝对量指标不受此限，因为它们可加、方差行为不同）。

2. 用 Wilson 区间判断"是否真异动"（第二道闸）

不用正态近似（小样本会偏），用 Wilson score interval 算报告期 p̂ 的 95% 区间，再看基期 p̂ 是否落在区间外。一段可直接跑的 SQL（StarRocks / MySQL 通用）：

-- Wilson 区间：p̂ 为报告期比率，n 为报告期分母，z=1.96
WITH base AS (
  SELECT
    report.n  AS n,
    report.p  AS p,      -- 报告期比率(0~1)
    base.p    AS p0       -- 基期比率(0~1)
  FROM report_metric report
  JOIN base_metric base USING(metric_id)
)
SELECT
  metric_id,
  p  AS report_rate,
  p0 AS base_rate,
  -- Wilson 下界 / 上界
  (p + z2/2n - z*sqrt(p(1-p)/n + z2/4n2)) / (1 + z2/n) AS wilson_lo,
  (p + z2/2n + z*sqrt(p(1-p)/n + z2/4n2)) / (1 + z2/n) AS wilson_hi,
  -- 异动判定：基期值落在报告期区间之外 且 分母达标
  (p0 < wilson_lo OR p0 > wilson_hi) AND n >= 1000 AS is_anomaly
FROM base, (SELECT 1.96 AS z, 1.96*1.96 AS z2, ...) AS c;

（实际实现里 n、z 用 CTE 里的列，上面为排版省略了自引用展开；核心是 wilson_lo/hi 两列 + n>=1000 准入。）

3. 告警分级配置（DolphinScheduler 任务参数）

ratio_metric.alert:
  min_sample_to_alert: 1000      # 分母 < 1000 不告警，仅记录
  min_sample_observe: 300       # 分母 < 300 连观察都不进
  method: wilson_ci            # 用区间判定，不用绝对差
  ci_level: 0.95
  min_real_delta_pp: 0.5       # 区间外 + 最小业务意义 0.5pp 才升级 P2

上线 6 周后，比率类指标假告警率 62% → 7%，绝对量指标告警率几乎不变（它们本来就不抖），大盘该响的还是响。

四、踩过的坑 / 反直觉之处

1. "掉 3.1pp" 不是事实，是噪声：最反直觉的是，业务方看到"跌 3.1pp"会本能认为"跌了 3.1pp"，但 217 个样本下这个数字的置信区间宽到能盖住 ±4pp。告警文案里必须带上"分母 N=xxx"，否则永远对不齐认知。
2. 正态近似在小分母会骗人：N 几百时用 p ± 1.96·σ 算区间，左/右会不对称甚至越界（出现负数区间），Wilson 才稳。我们初版用正态近似，在 p≈0.01 的"低转化"场景算出过 -0.3% 的下界，直接暴露了问题。
3. 别把"绝对量小"和"比率小"混为一谈：UV=500 绝对量小但可加、方差小，可以正常告警；UV=500 的"转化率"才是高噪声。准入闸门只对比率型生效，对可加量不生效，这点我们一开始配反了，把一批正常的小 UV 绝对量指标也静音了。
4. 环比方差要开根号相加：判"两期差"时信噪比是 Δ / sqrt(σ₁²+σ₂²)，只除以单期 σ 会系统性高估显著性，假告警又回来了。

五、结论与可复用清单

比率指标的"抖"是分母决定的固有方差，不是链路 bug，靠调 Flink / 回刷数据都治不了——得在告警准入这一层用统计量挡住。可复用清单：

1. 先分类：把指标分成「可加量（UV/GMV/订单）」和「比率量（转化率/客单价/人均）」，两者方差行为不同，告警规则分开配；
2. 最小样本量准入：比率量分母 < 1000 不告警、< 300 不观察（按目标区间宽度反推 N）；
3. 用 Wilson 区间判异动，不用绝对差值、不用正态近似（小分母会越界）；
4. 信噪比判定：Δ / sqrt(σ₁²+σ₂²)，两期方差开根号相加；
5. 告警文案必带分母 N，让业务方看到"这个波动有多可信"；
6. 配套阅读：比率不可加（聚合时回到分子分母先加再除，见站内 #677）；告警基线方案选型（固定阈值 / 3σ / 同环比，见站内 #766）。

一句话：小分母下，"跌了几个点"本身不是信息，"跌了几个点 ÷ 这个样本量本来的抖动"才是——把后者算进告警，假告警自然就没了。