为什么你的实验总是得不到结论

很多团队做了一堆 A/B 实验，最后却拿不出能指导决策的结论：实验跑了两周，数据好像涨了一点，又好像是波动；问统计同学，得到一句"样本量不够"。问题往往不在工具，而在实验从设计的第一步就错了。一个没有清晰假设、没有预估样本量、没到预定周期就停的实验，本质上只是在看运气。

增长实验的核心不是"上线一个新版本看看"，而是"用最小的成本，检验一个关于用户行为的因果假设"。它要求你在动手之前先想清楚：我要改变什么、预期影响哪个指标、需要多少样本才有把握看出差异。想清楚这些，实验结果才谈得上指导下一步。

没有假设的实验不是实验，是随便上线。
本文核心知识点
  • 假设先行实验前写清"改变什么、影响谁、预期哪个指标怎么变"。
  • 样本量按期望效应与基线方差预估，没到样本量不下结论。
  • 显著性p 值与置信区间判断差异是否真实，再看实际意义。
  • 复盘无论输赢，都要把结论沉淀为下一个假设的输入。
增长实验配图：蓝色渐变背景上左侧一个发光节点向右分出两条平行向上的带状路径，末端各有明亮光点，扁平科技插画
增长实验的两条路径：没有假设的看运气，有假设的检验因果。

实验设计：先有假设，再谈分流

一个合格的实验假设应该包含三要素：干预、对象、预期结果。比如"把注册表单从五步改成两步（干预），能提高新用户首次注册完成率（对象与指标），预计从 30% 提升到 35%（预期结果）"。少了任何一条，后面都很难判断实验到底成没成。

要素说明错误示例
干预具体改动的页面或流程"优化一下注册页"
对象与指标影响哪类用户、看哪个核心指标"看整体数据变化"
预期结果有数字方向与幅度的假设"应该会更好"

写不出预期幅度，往往说明你对这个问题没有判断，那这个实验也不该急着做——先做调研或用户访谈，把假设补扎实。

样本量与实验周期

样本量是最容易被跳过、却最决定结论可信度的一步。一个转化率 30% 的页面，A 版本 100 人来了 35 个，B 版本 100 人来了 38 个，这个差异在统计上和掷硬币没什么区别。你需要先按期望提升幅度估算需要多少样本，然后等样本到了再停。

# 样本量粗估示例（双侧检验）
基线转化率 p = 0.30
期望提升 MDE = 0.05（即从 30% 到 35%）
显著性水平 alpha = 0.05
统计功效 power = 0.8
# 经验法则：每组所需样本约
n ≈ 16 * p(1-p) / MDE^2
# 代入：n ≈ 16*0.3*0.7 / 0.0025 ≈ 1344 人/组
# 两组共约 2688 个新访客，达到后再看结果

没到样本量就下结论，是实验最常见的自我欺骗。宁可多跑几天，也不要在第 3 天看到"涨了"就宣布胜利。

显著性检验与实际意义

数据到了之后，你需要判断这个差异是真实的还是随机波动。常用的工具是 p 值与置信区间：p 值小于阈值（通常 0.05）说明随机波动不太可能解释这个差异；置信区间则告诉你差异大概落在什么范围。但统计显著只是第一步，还要看实际意义。

判断维度要回答的问题决策含义
统计显著性p 值够不够小、区间是否跨零差异是否真实存在
实际意义提升幅度是否值得改动成本是否值得全量上线
业务含义是否伤害了其他指标有没有引入新问题
长期稳定性数据在周期内是否平稳是否短期假象

一个典型的坑是：统计上显著，但只提升了 0.1%，而改动带来的维护成本远高于收益——这时应该克制上线。

常见失败模式与复盘

实验跑完，无论输赢都应该复盘。失败的实验不是浪费，而是排除了一个错误假设。复盘时重点看三件事：样本是否足够、分流是否均匀、实验过程中有没有外部干扰。

  • 分流不均：新老用户被分到不同版本，差异来自人群而非改动。
  • 外部干扰：实验期间恰逢版本发布或渠道活动，数据被污染。
  • 虚荣指标：只看注册数涨了，却没看后续留存跌了。
  • 提前查看：每天看实时数据，提前宣布"显著"，几乎都是假阳性。

把每次实验的假设、设计、结果、结论写成一页复盘，半年后你会拥有一条清晰的增长假设谱系。