首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
最喜欢夏天的大老虎很喜欢后仰跳投
合肥工业大学 数据分析师
发布于安徽
关注
已关注
取消关注
@Grace13:
数据分析必问题——AB实验(2)
在上一篇文章中,我主要介绍了AB实验是什么、运用场景以及如何设计和评估实验,在这篇文章中,我主要介绍AB实验中经常被问到的一些问题,我大致将这些问题分为两类:1.统计学相关问题重点考察统计学知识第一类错误和第二类错误是什么?两者有关系吗?应该控制第一类错误还是第二类错误?假设检验的基本原理是啥?p值是什么?2.实操的问题重点考察是否对AB实验的实际运用有一定了解说一下AB实验的流程?AB实验底层用到哪些检验方法?各类方法分别适用于哪些场景?如何保证或者检验流量分配是否合理?为什么实验有效果,全量上线后没有效果(或者反向)?实验结果不显著怎么办?实验样本量不足怎么办?实验运行中可以新增实验组吗?3.部分问题答案 1)实验分组需要注意些什么?实验单一变量原则:保证对照组和每个实验组间 “有且仅有一个变量”,以确保对实验效果进行准确归因或量化;保证分流均匀随机:可通过AA实验帮助检验分组的随机性 2)如何确定实验指标?核心指标:实验最想要提升的指标,公司或者业务的核心指标,比如日活、营收或时长;观察指标:包含实验会直接影响的过程指标,以及实现最终指标所需要的关键环节指标,比如某个功能的曝光量或者转化率;全局指标:包含实验策略可能带来的一些负向影响,比如有些策略可能会损害用户体验,导致用户流失,可以看卸载率指标,还包含一些实验可能带来的正向效果评估指标,是策略好坏的直接评价,比如留存率、点击率等。 3)如何确定实验所需的样本量? 理论上,样本量越多越好;现实操作中,样本量应该越少越好(置信前提下),更大的样本量和更长的实验周期能获得更大的统计功效(power)和更准确的测试。根据「实验核心观测指标预计的变动量」、「指标方差」、「实验允许犯第一类错误和第二类错误的概率」来确定所需的最小样本量,Z检验下的样本计算量公式如下: 不同检验所需要的样本量计算方式不同,具体场景需要具体分析。样本量公式推导是通过假设检验中对统计功效(Statistical power)的计算推导而来,具体推导公式不在这儿展开,数据分析面试一般不会深入展开。 4)AB实验中第一类错误、第二类错误和统计功效分别是什么?原假设:A组和B组无显著差异备择假设:A组和B组有显著差异第一类错误:去真,原假设为真,拒绝原假设。A和和B组本身无差异,但实验结论是有差异。第二类错误:取伪,原假设为假,没拒绝原假设。A组和B组本身有差异,但实验结论是没有差异。统计功效:当原假设为假,拒绝原假设的概率,也就是【1-犯第二类错误的概率】。A组和B组有差异且实验结论是有差异。样本量一定的情况下,第一类错误和第二类错误有着此跌彼涨的关系,具体应该控制第一类错误还是第二类错误需要视情况而定,看哪类错误的成本更高。 5)实验观察周期如何确定?至少一周,以便不同活跃周期的用户都能被观测到,比如有的用户习惯工作日活跃,有的用户习惯周末活跃;排除新奇效应的影响,对于一些前段UI更改实验,用户很容易感知到,实验前期用户可能出于好奇心会去体验,这时候观测的指标其实是有偏的,一段时间后新奇效应消失后,实验的效果才会趋于稳定,因此针对这一类型的实验需要一个较长周期的观测来避免新奇效应;观测核心指标在实验后的变动趋势,当核心指标变动相对稳定时才能关闭实验。[yeah]关注我,下一篇会继续补充关于AB实验的高频问题~欢迎大家评论区讨论~大家后续想了解数据分析或者商业分析哪些方面的内容可以再评论区留言告诉我哦~🍻一起成长吧~
点赞 16
评论 1
全部评论
推荐
最新
楼层
暂无评论,快来抢首评~
相关推荐
昨天 11:09
北京航空航天大学 嵌入式软件开发
小鹏汽车嵌入式面试
感觉竞争好激烈 面试都排的很靠后这个岗位现在好像已经下架了有没有佬面过这个岗呀,蹲一下面经
点赞
评论
收藏
分享
昨天 18:57
OPPO_运营管理_HR
腾讯提前批面经
⭕一面:拷打两小时,一堆数据库和os、计网相关的问题: 1. 键入一个域名,整体怎么做流转的,要很详细 2.然后http协议那里,对于粘包问题,我们可以怎么解决。追问: 在http协议中,怎么判断拆包后组装后是组装完了,而不是一部分 3.尝试推导redis是怎么做分布式的,如何保证写入一样数据库 即使某些库发生了崩溃,数据仍然存在 4.raft协议里面为什么是n/2+1认为ok 5.a函数调用b函数,汇编角度怎么发生的 6. 算法:(1)字符串转16进制,并且16进制转字符串 (2)实现lru,并且key.size() << value.size() (进阶版:多线程实现) 二面:...
投递腾讯等公司10个岗位
点赞
评论
收藏
分享
07-05 15:02
已编辑
中国科学技术大学 科研助理
一面
面试70min左右,最后的手撕代码有思路但没写出来
点赞
评论
收藏
分享
不愿透露姓名的神秘牛友
07-15 22:48
求问大家简历有什么问题吗
有段实习经历是在小微企业😭,这个会脏简历吗,如果想找个中大厂有什么可以改进的地方吗?谢谢牛u😭😭
牛马人的牛马人生:
建议就是把北邮几个字放大就行了。北邮本硕按理来说完全不用担心啊
点赞
评论
收藏
分享
07-22 11:26
武汉轻工大学 运营
网传果然真实,滴滴实习感受真不错!
在滴滴实习的第一周,感受真的太好啦!公司氛围:氛围真的很轻松,一点都不拘谨~工作时间:当我连续两天10:10到,周围还没人的时候,我就知道我来对啦哈哈哈哈~配套设施:办公用品可以自己按照需求领取~鼠标/笔/本子/文件夹/小风扇等等一应俱全!湾流那边好像还有健身房嘻嘻嘻员工食堂:啊啊啊员工食堂真的很不错,午餐自费(基本30以下),有免费晚餐(支持配送到工作所在楼层)!狠狠爱上互联网大厂!!
投递滴滴等公司10个岗位
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
实习包装不是吹牛皮,要怎么包装看这里
5.0W
2
...
百度提前批一面 7.24
7299
3
...
字节复活赛
6295
4
...
百度一二面凉经
5658
5
...
入我滴滴!早十晚六 !
3449
6
...
百度一面面经7.14
3070
7
...
滴滴提前批面经
2911
8
...
百度二面面筋
2767
9
...
河南萌新联赛2025第(二)场:河南农业大学_题解
2503
10
...
百度提前批一面:面试官居然让我手撕两数之和???最奇幻的一轮面试,结束还说.......
2503
创作者周榜
更多
正在热议
更多
#
哪些公司开提前批了?
#
25134次浏览
256人参与
#
实习如何「偷」产出?
#
49356次浏览
1293人参与
#
风评不好的公司,你会去吗?
#
59085次浏览
428人参与
#
除了主业以外,你还有哪些其他收入?
#
11690次浏览
198人参与
#
不卡学历的大厂有哪些?
#
27863次浏览
222人参与
#
校招阶段,学历VS技术哪个更重要?
#
16995次浏览
183人参与
#
华子oc时间线
#
1243954次浏览
6483人参与
#
职场新人体验
#
24596次浏览
232人参与
#
腾讯音乐求职进展汇总
#
98023次浏览
570人参与
#
社恐入职新公司如何融入团队
#
11747次浏览
63人参与
#
校园里的破防时刻
#
10926次浏览
123人参与
#
Offer比较,你最看重什么?
#
191523次浏览
1301人参与
#
你觉得技术面多长时间合理?
#
100170次浏览
720人参与
#
实习打杂,要跑路吗
#
17894次浏览
202人参与
#
你投递的公司有几家约面了?
#
108846次浏览
779人参与
#
正在实习的碎碎念
#
1454536次浏览
13469人参与
#
实习时,大家都怎么称呼自己的mentor?
#
43714次浏览
276人参与
#
百度秋招提前批进度
#
110327次浏览
1175人参与
#
你的秋招第一场笔试是哪家
#
147337次浏览
1484人参与
#
你最满意的offer薪资是哪家公司?
#
33053次浏览
176人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务