首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
淘气的肖恩在offer比较
门头沟学院 数据分析师
发布于四川
关注
已关注
取消关注
@Grace13:
数据分析必问题——AB实验(2)
在上一篇文章中,我主要介绍了AB实验是什么、运用场景以及如何设计和评估实验,在这篇文章中,我主要介绍AB实验中经常被问到的一些问题,我大致将这些问题分为两类:1.统计学相关问题重点考察统计学知识第一类错误和第二类错误是什么?两者有关系吗?应该控制第一类错误还是第二类错误?假设检验的基本原理是啥?p值是什么?2.实操的问题重点考察是否对AB实验的实际运用有一定了解说一下AB实验的流程?AB实验底层用到哪些检验方法?各类方法分别适用于哪些场景?如何保证或者检验流量分配是否合理?为什么实验有效果,全量上线后没有效果(或者反向)?实验结果不显著怎么办?实验样本量不足怎么办?实验运行中可以新增实验组吗?3.部分问题答案 1)实验分组需要注意些什么?实验单一变量原则:保证对照组和每个实验组间 “有且仅有一个变量”,以确保对实验效果进行准确归因或量化;保证分流均匀随机:可通过AA实验帮助检验分组的随机性 2)如何确定实验指标?核心指标:实验最想要提升的指标,公司或者业务的核心指标,比如日活、营收或时长;观察指标:包含实验会直接影响的过程指标,以及实现最终指标所需要的关键环节指标,比如某个功能的曝光量或者转化率;全局指标:包含实验策略可能带来的一些负向影响,比如有些策略可能会损害用户体验,导致用户流失,可以看卸载率指标,还包含一些实验可能带来的正向效果评估指标,是策略好坏的直接评价,比如留存率、点击率等。 3)如何确定实验所需的样本量? 理论上,样本量越多越好;现实操作中,样本量应该越少越好(置信前提下),更大的样本量和更长的实验周期能获得更大的统计功效(power)和更准确的测试。根据「实验核心观测指标预计的变动量」、「指标方差」、「实验允许犯第一类错误和第二类错误的概率」来确定所需的最小样本量,Z检验下的样本计算量公式如下: 不同检验所需要的样本量计算方式不同,具体场景需要具体分析。样本量公式推导是通过假设检验中对统计功效(Statistical power)的计算推导而来,具体推导公式不在这儿展开,数据分析面试一般不会深入展开。 4)AB实验中第一类错误、第二类错误和统计功效分别是什么?原假设:A组和B组无显著差异备择假设:A组和B组有显著差异第一类错误:去真,原假设为真,拒绝原假设。A和和B组本身无差异,但实验结论是有差异。第二类错误:取伪,原假设为假,没拒绝原假设。A组和B组本身有差异,但实验结论是没有差异。统计功效:当原假设为假,拒绝原假设的概率,也就是【1-犯第二类错误的概率】。A组和B组有差异且实验结论是有差异。样本量一定的情况下,第一类错误和第二类错误有着此跌彼涨的关系,具体应该控制第一类错误还是第二类错误需要视情况而定,看哪类错误的成本更高。 5)实验观察周期如何确定?至少一周,以便不同活跃周期的用户都能被观测到,比如有的用户习惯工作日活跃,有的用户习惯周末活跃;排除新奇效应的影响,对于一些前段UI更改实验,用户很容易感知到,实验前期用户可能出于好奇心会去体验,这时候观测的指标其实是有偏的,一段时间后新奇效应消失后,实验的效果才会趋于稳定,因此针对这一类型的实验需要一个较长周期的观测来避免新奇效应;观测核心指标在实验后的变动趋势,当核心指标变动相对稳定时才能关闭实验。[yeah]关注我,下一篇会继续补充关于AB实验的高频问题~欢迎大家评论区讨论~大家后续想了解数据分析或者商业分析哪些方面的内容可以再评论区留言告诉我哦~🍻一起成长吧~
点赞 16
评论 1
全部评论
推荐
最新
楼层
暂无评论,快来抢首评~
相关推荐
07-20 16:52
Momenta_算法
Momenta26实习
目前虽然26届的实习还在招的只有Mstar了,要求比较高,佬们可以投投给大家详细聊一聊公司上班细节,大家可以评估下自己来了能否适应。智驾整体强度都比较大,因为基本都算初创公司,还没做到能躺着收钱的地步,凡事看两面,压力大但是能学到东西,不至于说每天干重复的东西么没有提示,工作时间10am-19pm,项目交付的时候加班就多,基本上9点左右,公司包三餐 工作再忙都要好好吃饭 公司统一使用美餐app 可以根据自己喜好来订餐到工位餐区也可以去楼下美好荟去合作商家堂食比如:老乡鸡 costa 美餐20元餐标超出部分自己补差价👇 王阿吉的快餐真的很好吃强推 )别担心会吃腻 行政小姐姐会定期更换合作商家。...
Momenta公司福利 615人发布
点赞
评论
收藏
分享
07-21 17:56
门头沟学院 运营
经历过三段大厂实习后,我发现……
流动性超乎你的想象(我在的几个月,就能经历多个正职离职,有的主动提离职了、有的业务直接砍了……钱比命重要(有些年纪偏大了的同事,生病了也不敢请假怕被优化,整个人都没有光亮了。周末on call 是常态,加班到凌晨也是!!!)汇报比多做更能晋升,会说也是一种能力。说实话,一个项目是一个团队的成果,谁做多做少都很难量化,可能ta只是稍微润色一下就能写成都是ta的结果)不要想着和同事交朋友(尤其是吐槽的话,千万别说,你们是竞争关系,ta随手截图交给mt,你就完了。你们只是上班饭搭子,下班根本不会有任何联系。)看到很多黑色真相,但还是难以对大厂祛魅(福利待遇真的好)秋招还是会拼死卷进去,可能我就是有点...
实习生的蛐蛐区
点赞
评论
收藏
分享
06-17 21:57
门头沟学院 Java
哥们👯♂️,我成玩具了?
白友:
噗嗤,我发现有些人事就爱发这些,明明已读不回就行了,就是要恶心人
点赞
评论
收藏
分享
07-15 00:33
江苏大学 Java
27届想找大厂实习,求简历指导!
代码飞升:
哈哈哈哈评论区三个打广告的
简历中的项目经历要怎么写
点赞
评论
收藏
分享
07-18 20:08
网易_测开(实习员工)
26届二本身边的实习情况
现在网上两种声音最多:一种是没有实习的,另一种是在大厂实习现在开始冲刺校招的我所处的二本,身边几乎没见过在外面实习的,大多数都是这个暑假找到第一份当地的/学校对口安排的实习(基本就见过的一个从大一差不多决定就业的大佬,现在已经进互联网大厂了);反观现在动不动大一大二大厂实习的,26人均手里三段实习or多段大厂的,更不用说还有很多92✌们据身边看到的,差不多是旱的旱死,涝的涝死,最后希望大家都不要太过于焦虑,总能找到工作的,天塌不下来的
西二旗混子:
二本能知道牛客网这个网站就已经领先90%的人了,还知道发帖参与讨论,已经领先99%了。花点时间,总会达成自己的目的的。
双非能在秋招上岸吗?
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
实习包装不是吹牛皮,要怎么包装看这里
4.3W
2
...
入我滴滴!早十晚六 !
4384
3
...
百度一二面凉经
3221
4
...
再再再再强调一遍!秋招不要装逼
2346
5
...
百度提前批一面:面试官居然让我手撕两数之和???最奇幻的一轮面试,结束还说.......
2272
6
...
河南萌新联赛2025第(二)场:河南农业大学_题解
2175
7
...
百度一面面经7.14
2054
8
...
《重生之我在牛客捞金》
1860
9
...
滴滴提前批面经
1786
10
...
字节实习第三天10点下班,哭了
1759
创作者周榜
更多
正在热议
更多
#
哪些公司开提前批了?
#
22256次浏览
238人参与
#
实习如何「偷」产出?
#
45868次浏览
1175人参与
#
风评不好的公司,你会去吗?
#
53553次浏览
387人参与
#
你今年的平均薪资是多少?
#
133580次浏览
682人参与
#
除了主业以外,你还有哪些其他收入?
#
10613次浏览
186人参与
#
互联网公司评价
#
400866次浏览
3836人参与
#
校招阶段,学历VS技术哪个更重要?
#
15870次浏览
175人参与
#
不卡学历的大厂有哪些?
#
25426次浏览
200人参与
#
节后第一天上班,我的精神状态
#
13307次浏览
117人参与
#
签约/解约注意事项
#
696590次浏览
4068人参与
#
职场新人体验
#
21733次浏览
206人参与
#
腾讯音乐求职进展汇总
#
97879次浏览
570人参与
#
正在实习的碎碎念
#
1453862次浏览
13469人参与
#
硬件人求职现状
#
434227次浏览
4539人参与
#
实习打杂,要跑路吗
#
17189次浏览
197人参与
#
宁德时代求职进展汇总
#
122596次浏览
650人参与
#
Offer比较,你最看重什么?
#
191304次浏览
1301人参与
#
校园里的破防时刻
#
9887次浏览
110人参与
#
社恐入职新公司如何融入团队
#
11658次浏览
63人参与
#
你投递的公司有几家约面了?
#
108584次浏览
776人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务