【背景】
做了三年数据分析与指标体系，我见过至少四家团队（包括自己前东家）在 A/B 实验的"判定节奏"上完全是靠手感：
- 实验上线后，数据同学每天早上刷一次看板；
- 某天看到 p 值 < 0.05，群里喊一声"显著了，可以推全量"；
- 实际上实验才跑到设计样本量的 60%，剩余流量还在进。
这在统计学里叫 peeking problem（偷看问题）：反复用同一份数据做假设检验，每次都有 5% 的"误判"概率，但你看了 20 次，至少误判一次的概率就飙到 ~64%（1 - 0.95^20）。换句话说，你"显著了"的结论，有将近三分之一的概率是运气。
而另一边的极端是：有些团队坚持必须跑满预设天数才能看，哪怕第 3 天数据已经一边倒，也要等到第 7 天——理由是"防止偷看"。代价是：如果新版本真的有明显回归（比如 P99 飙升），你也要等 4 天才能止损。
【常见分歧 / 几种做法】
我梳理了一下业内我接触到的三种主流做法：
-
固定样本量 + 一次判定（Frequentist fixed-horizon）
- 事前算好所需样本量（power analysis），跑满后看一次 p 值。
- 优点：统计性质干净，false positive 严格控制在 α。
- 缺点：实验周期长，中途不能止损；对"非劣效"或"早停"场景不友好。
- 典型用户：偏保守的金融、医疗团队。
-
序贯检验 / Alpha-spending（Sequential Testing）
- 用 O'Brien-Fleming、Pocock 或 Lachin-Freidman 等 alpha 分配函数，允许在多个"look"时点做检验，但每次的判定阈值动态收紧。
- 优点：可以早停（both 方向：有效停、无效停），false positive 仍受控。
- 缺点：实现复杂（需要预设 look 次数或连续监控），很多开源 AB 平台不支持；团队需要理解 alpha 分配函数的含义。
- 典型用户：大厂实验平台（Optimizely、VWO 的 sequential mode，字节/美团的实验平台都有类似能力）。
-
贝叶斯 A/B（Bayesian / Probability of Improvement）
- 不看 p 值，而是算"新版本优于旧版本的概率"（P(improvement)），或期望损失（Expected Loss）。
- 优点：解读直觉（"有 93% 概率新版更好"），天然支持 anytime stopping，不需要预设样本量。
- 缺点：先验选择有主观性；对"方向正确但幅度极小"的场景可能给出"93% 概率更好"但业务上无意义的结论；团队需要校准对概率数字的直觉。
- 典型用户：增长团队、产品实验偏多的公司。
【我的倾向与理由】
我倾向于 "固定样本量做主判定 + 序贯检验做安全网" 的混合策略：
- 主判定：跑满预设样本量后，用固定样本量的 Frequentist 检验做最终决策（p < 0.05 或贝叶斯 P(improvement) > 0.95，两者选一个作为团队标准）。
- 安全网：在实验中间设置 1-2 个"止损检查点"（比如第 3 天、第 5 天），用序贯检验的 alpha-spending 判定。如果某个指标（如 P99、错误率）显著劣化，允许提前止损——这不是"偷看"，而是预设了检查点和判定规则的安全机制。
- 为什么不纯用贝叶斯：不是说贝叶斯不好，而是我观察到很多团队对"93% 概率更好"这个数字的解读会滑向"93% 的把握可以推全量"，把概率和决策脱钩了。Frequentist 的"拒绝 / 不拒绝 H0"虽然不直观，但至少把"证据不足"和"证据充分"分开了。
核心原则：判定规则必须在实验开始前写死，而不是数据出来后再定。 这是避免偷看问题的根本。
【想听大家聊的】
- 你们团队的 A/B 实验判定流程是什么？是"跑满 N 天看一次"还是"边跑边看、显著就停"？有没有出过因为偷看导致误推全量的事故？
- 如果你们用的是序贯检验或贝叶斯方法，alpha-spending 函数 / 先验分布是怎么选的？有没有踩过"先验太宽 / 太窄"的坑？
- 对于"非核心指标"（比如一个辅助 UV 指标），你们是否也要求同样的统计严谨度？还是允许"方向对就行"？
- 有没有人在用"最小可检测效应（MDE）"来反向决定实验时长？MDE 设多大算合理——是业务方拍一个数，还是有更系统的推导方式？
欢迎带具体场景来聊，哪怕只是"我们就是看了 3 天觉得差不多就推了"也行——我想听听不同规模团队在统计严谨度和业务节奏之间的实际取舍。
0赞
0收藏
0楼层