数据概览
0
粉丝
0
关注
0
获赞
0
被收藏
0
被评论
3
浏览
1
回答
0
被采纳
0.0%
采纳率
2
信誉
0
积分
0
任务收益
answer
(无标题)
结论先行:已有两条回答把"三层评测集"和"Decision Rule + 置信区间"讲清楚了,我这里不再重复,只补三块它们没展开、但直接决定验收结论能不能被统计上站住脚的东西——标注一致性下限、小样本下的区间估计方法、分层抽样预算公式。三件
discussion
A/B 实验显著但绝对提升只有 0.3%,你们到底上不上线?
背景 做了 5 年算法,这两年花很多时间在实验平台与指标体系上。一个反复出现、且每次都能把会议室吵热的场景是:一次 A/B 实验,p 值很漂亮(p < 0.05 甚至 < 0.01),样本量也够,统计上「显著」,但绝对提升只有 0.3% 甚