A/B 实验「一显著就停」的陷阱：样本量计算与序贯检验的取舍

一、现象与背景

过去一年我接手了一个增长团队的数据分析，接手后发现一个反复上演的场景：实验开了第 3 天，数据同学跑了一下 p 值，0.03，「显著了！」，产品立刻全量上线，实验关停。一周后复盘，转化率其实回落到基线以下，但已经全量了，回不去了。

这不是孤例。我们一个季度里跑了 14 个 A/B 实验，其中 9 个是「跑到中途提前结束」的。事后我用完整样本重算，这 9 个里有 6 个（约 67%）结论方向是错的——也就是说，提前看结果让我们大约三分之二的决策建立在运气上。更隐蔽的是：这些实验里有些 p 值在 0.01 和 0.09 之间反复横跳，团队每天都在「要不要停」上吵架。问题不在数据同学不认真，而在方法本身。

二、原理或根因分析

根因有三层，我按重要性排序：

1. 偷看（peeking）破坏显著性水平。 经典假设检验的 α=0.05 是在「固定样本量、只判定一次」的前提下成立的。如果你在样本量还没到时反复看 p 值、一过 0.05 就停，等于把一次判定变成了几十次判定，整体假阳性率（Type I error）被显著放大。理论上，如果你每天都看，最终的「至少一次显著」概率可以逼近甚至超过 50%，而不是 5%。这就是为什么「跑到第 3 天显著」不可信——它大概率是噪声先撞到了阈值。

2. 样本量根本没算过。 很多团队是「先跑起来，看数据再说」，没有事先定 MDE（最小可检测效应）、α、power。没有样本量目标，实验长度就是拍脑袋的，自然会在中途「感觉够了」就停。

3. 多重比较。 我们一个实验同时看转化率、客单价、次日留存、7 日留存 4 个指标，哪怕全是噪声，4 个里至少有一个 p<0.05 的概率约是 1-(0.95)^4 ≈ 18.5%。团队总爱挑「最显著」的那个汇报，这就是一种选择偏差。

三、具体做法

我推了三件事，都带可复现的配置：

1. 实验前先算样本量。 用 statsmodels 的双比例样本量计算（基线转化率 2.0%，想检测 MDE=0.1pp 的相对提升，α=0.05，power=0.8）：

from statsmodels.stats.power import NormalIndPower
import statsmodels.api as sm

baseline = 0.020
mde = 0.001                      # 绝对提升 0.1pp
effect_size = sm.stats.proportion.proportion_effectsize(baseline, baseline + mde)
n = NormalIndPower().solve_power(
    effect_size=effect_size, power=0.8,
    alpha=0.05, ratio=1, alternative='two-sided'
)
print(int(n))   # 每组约 78,700 个样本

算出每组 ~7.9 万样本后，按 DAU 反推实验要跑多少天，把这个天数写进实验文档，提前约定「跑满 X 天才能看结论」。

2. 如果业务等不起完整周期，用序贯检验代替偷看。 我对比过两套方案：

• 方案 A：固定样本 + 跑满周期。 简单、可解释，但实验周期长，业务方经常不耐烦，这是很多团队退而求其次去偷看的根源。
• 方案 B：α-spending 的序贯检验（如 O'Brien-Fleming）。 允许中途多次判定，但把 α 预算摊到每次判定上，前几次阈值更严（比如要求 p<0.01 才能停），越到后面越宽松。代价是配置复杂、需要团队理解。

我们的取舍是：对主指标用方案 B，对次要指标仍用方案 A。主指标要快、要能早停（业务价值最大），次要指标不急、就老实跑满。这个组合把「提前停」的假阳性压回可控范围，同时给了业务方一个合法的早停通道。

3. 多重比较做校正。 4 个指标就用 Bonferroni（α/4=0.0125）或更温和的 Benjamini-Hochberg FDR 控制。我们最终用 BH-FDR，因为它在保持发现力的同时控制假发现率，比 Bonferroni 更不容易漏掉真效应。

四、踩过的坑与反直觉之处

• 反直觉 1：「显著」不等于「有效」。 一个 p=0.001 的实验，提升可能只有 0.02pp，业务上毫无价值。我们后来在结论模板里强制要求同时写「p 值 + 提升幅度 + 置信区间」，光看 p 值会误导决策。
• 坑 1：AA 测试没做。 上线第一个实验前，我们先用「对照组 vs 对照组」跑了个 AA，结果 p=0.04 都显著了——说明分流本身就有偏差（新老用户被不均分到了两组）。先做 AA 校准，再谈 AB，这条我写在团队 SOP 第一条。
• 坑 2：新奇效应。 一个「加个红点」的实验，第 1 天提升 3%，第 5 天归零。提前在第 2 天看到显著就全量，正好把新奇效应固化成了永久策略。
• 坑 3：样本量算小了。 早期我用 MDE=0.5pp 算，样本量小、跑得快，但 0.5pp 的提升检测出来也未必值得上线。MDE 必须从「业务最小值得投入的改进」倒推，不能为了跑得快而设小。

五、结论与可复用清单

结论： A/B 实验最大的敌人不是「效果不够大」，而是「我们以为效果显著了」。把「一显著就停」换成「跑满周期 + 序贯早停 + 多重比较校正」，假阳性率能从被放大到失控的状态拉回 5% 量级。

可复用清单（可直接抄进 SOP）：

1. 实验前必须写四件套：基线值、MDE（从业务价值倒推）、α、power；
2. 用 statsmodels 算出每组样本量，反推实验天数并写死「最早可判定日」；
3. 上线前跑 AA 测试校准分流，AA 显著说明分流有 bug；
4. 主指标要早停用 α-spending 序贯检验，次要指标跑满周期；
5. 多指标用 BH-FDR 校正，汇报时 p 值 / 提升幅度 / 置信区间三者并列；
6. 警惕新奇效应，至少观察 5 天再下结论。

这套东西不复杂，但每一条都在对抗「人想快点看到结果」的本能。数据分析的难处从来不在算法，而在克制。