首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
最喜欢夏天的大老虎很喜欢后仰跳投
合肥工业大学 数据分析师
发布于安徽
关注
已关注
取消关注
@Grace13:
数据分析必问题——AB实验(2)
在上一篇文章中,我主要介绍了AB实验是什么、运用场景以及如何设计和评估实验,在这篇文章中,我主要介绍AB实验中经常被问到的一些问题,我大致将这些问题分为两类:1.统计学相关问题重点考察统计学知识第一类错误和第二类错误是什么?两者有关系吗?应该控制第一类错误还是第二类错误?假设检验的基本原理是啥?p值是什么?2.实操的问题重点考察是否对AB实验的实际运用有一定了解说一下AB实验的流程?AB实验底层用到哪些检验方法?各类方法分别适用于哪些场景?如何保证或者检验流量分配是否合理?为什么实验有效果,全量上线后没有效果(或者反向)?实验结果不显著怎么办?实验样本量不足怎么办?实验运行中可以新增实验组吗?3.部分问题答案 1)实验分组需要注意些什么?实验单一变量原则:保证对照组和每个实验组间 “有且仅有一个变量”,以确保对实验效果进行准确归因或量化;保证分流均匀随机:可通过AA实验帮助检验分组的随机性 2)如何确定实验指标?核心指标:实验最想要提升的指标,公司或者业务的核心指标,比如日活、营收或时长;观察指标:包含实验会直接影响的过程指标,以及实现最终指标所需要的关键环节指标,比如某个功能的曝光量或者转化率;全局指标:包含实验策略可能带来的一些负向影响,比如有些策略可能会损害用户体验,导致用户流失,可以看卸载率指标,还包含一些实验可能带来的正向效果评估指标,是策略好坏的直接评价,比如留存率、点击率等。 3)如何确定实验所需的样本量? 理论上,样本量越多越好;现实操作中,样本量应该越少越好(置信前提下),更大的样本量和更长的实验周期能获得更大的统计功效(power)和更准确的测试。根据「实验核心观测指标预计的变动量」、「指标方差」、「实验允许犯第一类错误和第二类错误的概率」来确定所需的最小样本量,Z检验下的样本计算量公式如下: 不同检验所需要的样本量计算方式不同,具体场景需要具体分析。样本量公式推导是通过假设检验中对统计功效(Statistical power)的计算推导而来,具体推导公式不在这儿展开,数据分析面试一般不会深入展开。 4)AB实验中第一类错误、第二类错误和统计功效分别是什么?原假设:A组和B组无显著差异备择假设:A组和B组有显著差异第一类错误:去真,原假设为真,拒绝原假设。A和和B组本身无差异,但实验结论是有差异。第二类错误:取伪,原假设为假,没拒绝原假设。A组和B组本身有差异,但实验结论是没有差异。统计功效:当原假设为假,拒绝原假设的概率,也就是【1-犯第二类错误的概率】。A组和B组有差异且实验结论是有差异。样本量一定的情况下,第一类错误和第二类错误有着此跌彼涨的关系,具体应该控制第一类错误还是第二类错误需要视情况而定,看哪类错误的成本更高。 5)实验观察周期如何确定?至少一周,以便不同活跃周期的用户都能被观测到,比如有的用户习惯工作日活跃,有的用户习惯周末活跃;排除新奇效应的影响,对于一些前段UI更改实验,用户很容易感知到,实验前期用户可能出于好奇心会去体验,这时候观测的指标其实是有偏的,一段时间后新奇效应消失后,实验的效果才会趋于稳定,因此针对这一类型的实验需要一个较长周期的观测来避免新奇效应;观测核心指标在实验后的变动趋势,当核心指标变动相对稳定时才能关闭实验。[yeah]关注我,下一篇会继续补充关于AB实验的高频问题~欢迎大家评论区讨论~大家后续想了解数据分析或者商业分析哪些方面的内容可以再评论区留言告诉我哦~🍻一起成长吧~
点赞 16
评论 1
全部评论
推荐
最新
楼层
暂无评论,快来抢首评~
相关推荐
07-17 15:31
河南师范大学 算法工程师
想找一份实习,求大佬指点一下我的简历
本人26届毕业,暂时只写过点评和外卖两个烂大街项目。没有实习经验,简历上的是包装的。还有一个拼团项目是知识星球上面买的。
点赞
评论
收藏
分享
07-19 15:45
天津科技大学 Java
27届双非,求简历拷打,只想找个mini厂实习
点赞
评论
收藏
分享
05-30 12:03
山西大学 C++
这是骗子吗
offer来了我跪着...:
不是骗子,等到测评那一步就知道为啥这么高工资了
点赞
评论
收藏
分享
06-19 19:06
门头沟学院 Java
东软真点击就送啊
base沈阳2k包住,还没想好去不去
码农索隆:
别去东软,真学不到东西,真事
点赞
评论
收藏
分享
07-16 11:29
门头沟学院 Java
7.8科大讯飞 飞星计划 提前批一面
只有一个面试官上来先让我自我介绍然后根据简历上的内容一个一个让我介绍然后问了我一些简历上的项目实现的内容。以及参加比赛的一些比赛的算法实现和效果。然后基于简历进行一些基础的八股发散整体来说问的不怎么深,更多的是让你介绍你简历上面干了什么,怎么干的,怎么评估的。然后让我介绍了一下我要投的论文是怎么实现的。接下来就是问我一些知识储备,现有最新的一些研究我了解多少。然后问我base意向地选择,我说长沙的科大讯飞实验室,然后就是一些基础的反问,科大讯飞研究所是干什么之类的。大概差不多面了30分钟不到40分钟就结束了,然后说让我等hr联系我通知,可能要等一周左右的时间了。刚刚问了hr,已挂
科大讯飞一面307人在聊
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
滴滴提前批面经
7476
2
...
20250716 - 百度 - 后端开发 - 一面
7095
3
...
实习,你就这么偷
6385
4
...
27届前端七月找实习记录
6099
5
...
我曾经以为自己熬过了三阶段已经无敌,但现在却见证了逆天的第四阶段
4239
6
...
关于牛土兵教育割韭菜的事实
3924
7
...
如何平衡暑期实习与秋招
3884
8
...
从中山大学到中兴 SSP:我的秋招打怪升级之路
3622
9
...
Momenta26实习
3587
10
...
滴滴提前批凉经(一面,二面)
3442
创作者周榜
更多
正在热议
更多
#
不卡学历的大厂有哪些?
#
7461次浏览
62人参与
#
百度秋招提前批进度
#
108636次浏览
1149人参与
#
实习如何「偷」产出?
#
13937次浏览
171人参与
#
除了主业以外,你还有哪些其他收入?
#
3111次浏览
55人参与
#
实习打杂,要跑路吗
#
7884次浏览
97人参与
#
风评不好的公司,你会去吗?
#
41007次浏览
271人参与
#
校园里的破防时刻
#
4797次浏览
50人参与
#
职场新人体验
#
9648次浏览
100人参与
#
为什么那么多公司毁约
#
181074次浏览
1339人参与
#
蔚来求职进展汇总
#
92823次浏览
769人参与
#
第一份工作应该选高薪还是热爱?
#
77217次浏览
746人参与
#
一人推荐一个值得去的通信/硬件公司
#
188193次浏览
1867人参与
#
设计人如何选offer
#
127388次浏览
748人参与
#
考研可以缓解求职焦虑吗
#
52796次浏览
470人参与
#
学历贬值真的很严重吗?
#
27656次浏览
186人参与
#
腾讯求职进展汇总
#
953256次浏览
9574人参与
#
秋招结束之后的日子
#
77578次浏览
941人参与
#
你觉得现在还能进互联网吗?
#
16557次浏览
178人参与
#
你觉得早上几点上班合适?
#
74400次浏览
308人参与
#
24届软件开发秋招薪资爆料
#
355874次浏览
1229人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务