AB-text问题

初衷：我们要以最小的成本，最快的时间，去验证策略是否有效。

1、什么场景可以用AB实验？

2、既然你知道什么场景可以做AB-text，那你知道它的底层逻辑是什么嘛？

（为什么要做AB，有什么科学依据？）

①随机化。AB实验通过随机化的处理，使所有影响treatment和effect的混杂因子全部失效。随机化使得全部的外界干扰因素都失效了，treatment成的产生差异的唯一来源。

②假设检验。假设检验就是对样本特征提出一个假设，然后检验这个假设是否正确；就是通过构造的统计量所符合的统计学理论分布，采取小概率理论来推断假设是否正确。（如果原假设H0发生的概率较大，则接受原假设）

3、AB实验打算观察20天，但是中间10天的时候就感觉数据对比明显显著，这时候停止实验可以吗？

or AB实验需要多大的样本，AB实验需要做多久是如何确定的？

计算样本量公式：

4、AB实验如何选择实验城市？

为什么选择局部城市，而不是全部城市？ → 实验可能存在负面影响；每个城市的差异性大

答：①尽量选择大体量城市，保证样本量充足

②选择不同类型的城市，看不同类型的城市对实验结果有什么影响，具有普适性

5、如何确定分流时机，举个例子

心法：实验分流的触发点只能是策略的生效点

6、做AB实验的时候，数据对比上涨25%，判定为效果显著，但上线后效果不好，为什么？

7、统计上显著，但业务上觉得没有上涨，为什么？

统计显著：统计学上的概念，样本量过大时，任何策略都会在统计上显著；

业务显著：指的是策略是否有足够的增长，是否具有商业价值，是一个业务判断

8、什么场景不可以用AB实验？

①用户体验制约：价格调整，不同用户在同一时间段的配送费价格不一致

②样本数量过小

③AB组间存在影响，不相互独立了（A组无激励策略，B组有激励策略，A组司机不公平）

AB-text方案设计

1、abtest：场景，是流量运营，目前新增第三个入口（目前滴滴金融信贷业务：原来有弹窗入口，首页图标入口，现在个人中心新增第三个入口）怎么做abtest

• 确定测试目标

衡量新入口的引导效果和用户转化率等相关指标

①点击率：新入口与旧入口点击率对比

②转化率：相对于旧入口来说，新入口是否能够提升用户申请信贷业务的转化

③用户行为分析：使用新增入口后，用户是否能更快的完成业务

④用户留存：是否影响用户留存率、活跃度

⑤用户偏好：用户更偏向于哪个入口

• 设计方案

（1）设计对照组和实验组（将两组用户随机分配，保证没有其他外部因素干扰）

A：只有原入口的用户

B：新增第三个入口的用户

（2）用户分流

在实验初期，你可以先分配少量流量给实验组（例如10%），然后观察结果，再逐步增加实验组的流量。（减少负面影响）

（3）确定测量指标

（4）测试时间：计算最小样本量，及每天用户数，相除

（5）测试假设

零假设（H0）：新增入口对用户行为没有影响（即新增入口与现有入口在点击率、转化率等方面无显著差异）。

备择假设（H1）：新增入口对用户行为有显著影响（即新增入口在点击率、转化率等方面优于现有入口）。

（6）数据分析

使用 t检验 或 卡方检验 等统计方法来判断实验组和对照组在点击率、转化率等方面的差异是否显著。