面试高频题1：

题目：说一下abtest的流程

答案解析：

实验的流程：确定目标和假设->确定指标->确定实验单位->计算样本量->实施测试->分析实验结果

● 其中确定指标中比较关键的是要确定评价指标和护栏指标，评价指标就是驱动公司实现核心价值的指标，要具有可归因性、可测量性、敏感性和稳定性；护栏指标也就是辅助指标

● 确定实验单位有从用户层面、访问层面和页面层面进行考虑的情况，用户层面适用于易被用户察觉的变化实验，访问和页面层面适用于不易被用户察觉的变化实验；从用户层面到页面层面实验粒度越来越细，累计的样本量也越来越多

● 计算样本量，需要预先确认以下数值：显著性水平、功效、实验组和对照组的综合方差以及期望的最小差值。实验组和对照组数据量最好均分，非均分的时候只有相对较小的组达到最小样本量，实验结果才可能显著，并不是说实验组越大越好，因为瓶颈是在样本量较小的对照组上，所以实验组和对照组的样本量最好相同

● 分析测试结果的时候要注意辛普森悖论等问题，而且要保证样本达到足够的量、检验是否在正常的波动范围内

面试高频题2：

题目：AB Test有什么缺点？

答案解析：

（1）制作AB版本的开发、数据收集的工作量较大、以及后期维护成本增加，ROI低；

（2）AB测试受场景限制，产品版本发布后，无法增加或更改AB测试场景；

（3）通常应用于短期即刻行为，不适用与需要很长时间才能验证的测试；

（4）需要的用户人数多，要有足够的样本量。

面试高频题3：

题目：在abtest的应用 p值的意义，第一类和第二类错误的定义是什么？

答案解析：

AB实验实际上是建立在假设检验的基