关于数据分析面试中的假设检验（A/B test）（三）

统计学上常用检验方法的总结：包括适用的情况，检验的步骤以及结论。

1.置换检验（permutation test）
适用情况(总体分布未知的小样本检验)：
Permutation test 置换检验是Fisher于20世纪30年代提出的一种基于大量计算（computationally intensive），利用样本数据的全（或随机）排列，进行统计推断的方法，因其对总体分布自由，应用较为广泛，特别适用于总体分布未知的小样本资料，以及某些难以用常规方法分析资料的假设检验问题。

检验流程：
在置换过程中，涉及两个或多个样本，通常是 A/B 或其他假设检验中的组。 置换意味着改变一组值的顺序。对假设进行置换检验的第一步是将 A 组和 B 组（以及，如果使用的话，还有 C、D……）的结果结合起来。这是无效假设的逻辑体现，即各组所接受的治疗没有差异。然后，我们通过从这个组合集中随机抽取组并查看它们之间的差异来测试该假设。置换过程如下：

1. 将不同组的结果组合成一个数据集。
2. 将组合数据打乱，然后随机抽取（不放回）与 A 组大小相同的重采样（显然它将包含来自其他组的一些数据）。 3.从剩余数据中，随机抽取（不放回）一个与B组大小相同的重采样。
3. 对 C、D 组等做同样的事情。您现在已经收集了一组反映原始样本大小的重新样本。
4. 为原始样本计算的任何统计量或估计值（例如，A组与B组平局值的差异），现在为重新样本计算，并记录；这构成了一个置换迭代。
5. 重复前面的步骤 R 次，得到检验统计量的排列分布。

2.t检验
适用情况：在没有计算机进行置换检验的早期，有近似的替代检验方案就是t检验，常用于A/B test。需要标准化数据之后与标准的t分布进行比较。因为其假定来自正态分布总体。