多实验并行时流量到底怎么分？聊聊实验分层、冲突治理与护栏指标

背景

做了 8 年算法，前 5 年在推荐/搜索团队，后 3 年转做指标体系与实验平台。有一个问题我每换一家公司都会再撞一次：当 10+ 个实验同时在跑时，流量到底怎么分？

这不是一个「配个分流比例」就完事的运维项，它直接决定了你的实验结论可不可信、并发能力够不够、以及出了事谁背锅。

我观察到的至少三种做法

1. 全量互斥派：所有实验共享一个分流池，同一用户同一时间只能命中一个实验。

   • 优点：无交互效应，结论最干净；
   • 缺点：并发能力极差——10 个实验同时跑，每个只能拿 10% 流量，统计功效低到离谱，实验周期被拉长 3–5 倍。

2. 分层正交派：按业务域拆层（搜索层、推荐层、交易层），同层互斥、跨层正交。

   • 优点：并发能力强，不同域的实验互不干扰；
   • 缺点：层怎么拆、跨层交互效应怎么控，是个开放问题。我见过一个团队拆了 5 层，最后跨层交互排查花了两周。

3. 不管派：没有统一平台，每个实验自己随机分流，撞了再说。

   • 优点：灵活，启动快；
   • 缺点：实验之间互相污染，结论可信度存疑，出了事故说不清是谁的锅。

我的倾向与理由

我偏向「2–3 层正交 + 层内互斥 + 全局护栏指标」，具体：

• 层数控制在 3 层以内：每多一层，跨层交互效应的排查成本是指数级的，3 层是经验上能维护的上限；
• 层内互斥是底线：同层实验共享同一随机种子，保证互斥性；跨层用独立种子做正交；
• 全局护栏指标独立于实验层：整体 GMV、P99 时延、崩溃率等，任何实验导致护栏指标显著恶化（比如 P99 恶化 >15% 且 p<0.01）即自动回滚，不等人拍板；
• 小流量实验（<5%）单独走「探索层」：不和主实验抢流量，降低对主层统计功效的稀释。

理由很简单：实验平台的本质是「用结构换可信度」。没有结构，每个实验的结论都要打一个「和谁撞了」的折扣；有了结构，折扣就消失了。

但这里面有很多灰色地带，我没有标准答案：

• 层按团队拆还是按业务链路拆？（团队拆容易变成「我的地盘」，链路拆容易跨团队扯皮）
• 跨层交互效应怎么持续监控而不是事后排查？
• 实验优先级怎么定？谁有权把一个实验塞进主层？
• 护栏指标的阈值谁定？业务方说「P99 恶化 10% 可以接受」，算法说「不行」，听谁的？

想听大家聊聊

• 你们团队实验分层怎么划的？几层？按什么维度拆的？
• 跨层交互效应你们怎么监控？有没有踩过「两个实验单独看都显著、合在一起就翻车」的坑？
• 实验冲突（两个实验结论矛盾）你们怎么仲裁？有没有仲裁机制还是靠 PM 拍？
• 小流量实验和主实验的流量分配比例，你们怎么定？有没有动态调整？
• 护栏指标自动回滚你们用了吗？误触发率高不高？阈值怎么定的？
• 小团队（3–5 个算法）和大团队（20+）在实验治理上的做法差异到底有多大？

欢迎带具体案例来聊，越具体越好。有数据的最好——比如「我们拆了 N 层，并发 M 个实验，护栏指标误触发率 X%」这种，比空谈方法论有用十倍。