一个团队为一种新的推荐算法(实验组B)与旧算法(对照组A)进行A/B测试,核心指标是点击率(CTR)。一周后,数据显示实验组B的CTR比对照组A高5%,且p-value为0.04。基于此结果,团队最合适的下一步是什么?
立即将新算法全量推送给所有用户,因为结果在统计上是显著的。
判定新算法更优,并基于此版本开始研发下一个迭代。
在决定全量上线前,分析其他关键指标(如用户留存率、会话时长、服务器负载等)以检查是否存在负面影响。
将实验再运行一个月以获得更小的p-value,因为0.04的说服力还不够强。