首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
最喜欢夏天的大老虎很喜欢后仰跳投
合肥工业大学 数据分析师
发布于安徽
关注
已关注
取消关注
@Grace13:
数据分析必问题——AB实验(2)
在上一篇文章中,我主要介绍了AB实验是什么、运用场景以及如何设计和评估实验,在这篇文章中,我主要介绍AB实验中经常被问到的一些问题,我大致将这些问题分为两类:1.统计学相关问题重点考察统计学知识第一类错误和第二类错误是什么?两者有关系吗?应该控制第一类错误还是第二类错误?假设检验的基本原理是啥?p值是什么?2.实操的问题重点考察是否对AB实验的实际运用有一定了解说一下AB实验的流程?AB实验底层用到哪些检验方法?各类方法分别适用于哪些场景?如何保证或者检验流量分配是否合理?为什么实验有效果,全量上线后没有效果(或者反向)?实验结果不显著怎么办?实验样本量不足怎么办?实验运行中可以新增实验组吗?3.部分问题答案 1)实验分组需要注意些什么?实验单一变量原则:保证对照组和每个实验组间 “有且仅有一个变量”,以确保对实验效果进行准确归因或量化;保证分流均匀随机:可通过AA实验帮助检验分组的随机性 2)如何确定实验指标?核心指标:实验最想要提升的指标,公司或者业务的核心指标,比如日活、营收或时长;观察指标:包含实验会直接影响的过程指标,以及实现最终指标所需要的关键环节指标,比如某个功能的曝光量或者转化率;全局指标:包含实验策略可能带来的一些负向影响,比如有些策略可能会损害用户体验,导致用户流失,可以看卸载率指标,还包含一些实验可能带来的正向效果评估指标,是策略好坏的直接评价,比如留存率、点击率等。 3)如何确定实验所需的样本量? 理论上,样本量越多越好;现实操作中,样本量应该越少越好(置信前提下),更大的样本量和更长的实验周期能获得更大的统计功效(power)和更准确的测试。根据「实验核心观测指标预计的变动量」、「指标方差」、「实验允许犯第一类错误和第二类错误的概率」来确定所需的最小样本量,Z检验下的样本计算量公式如下: 不同检验所需要的样本量计算方式不同,具体场景需要具体分析。样本量公式推导是通过假设检验中对统计功效(Statistical power)的计算推导而来,具体推导公式不在这儿展开,数据分析面试一般不会深入展开。 4)AB实验中第一类错误、第二类错误和统计功效分别是什么?原假设:A组和B组无显著差异备择假设:A组和B组有显著差异第一类错误:去真,原假设为真,拒绝原假设。A和和B组本身无差异,但实验结论是有差异。第二类错误:取伪,原假设为假,没拒绝原假设。A组和B组本身有差异,但实验结论是没有差异。统计功效:当原假设为假,拒绝原假设的概率,也就是【1-犯第二类错误的概率】。A组和B组有差异且实验结论是有差异。样本量一定的情况下,第一类错误和第二类错误有着此跌彼涨的关系,具体应该控制第一类错误还是第二类错误需要视情况而定,看哪类错误的成本更高。 5)实验观察周期如何确定?至少一周,以便不同活跃周期的用户都能被观测到,比如有的用户习惯工作日活跃,有的用户习惯周末活跃;排除新奇效应的影响,对于一些前段UI更改实验,用户很容易感知到,实验前期用户可能出于好奇心会去体验,这时候观测的指标其实是有偏的,一段时间后新奇效应消失后,实验的效果才会趋于稳定,因此针对这一类型的实验需要一个较长周期的观测来避免新奇效应;观测核心指标在实验后的变动趋势,当核心指标变动相对稳定时才能关闭实验。[yeah]关注我,下一篇会继续补充关于AB实验的高频问题~欢迎大家评论区讨论~大家后续想了解数据分析或者商业分析哪些方面的内容可以再评论区留言告诉我哦~🍻一起成长吧~
点赞 16
评论 1
全部评论
推荐
最新
楼层
暂无评论,快来抢首评~
相关推荐
昨天 11:09
北京航空航天大学 嵌入式软件开发
小鹏汽车嵌入式面试
感觉竞争好激烈 面试都排的很靠后这个岗位现在好像已经下架了有没有佬面过这个岗呀,蹲一下面经
点赞
评论
收藏
分享
昨天 11:19
门头沟学院 Java
小鹏ai面
有谁能懂我的笑点面对一张ai脸真的很难不笑啊
小鹏汽车AI面26人在聊
点赞
评论
收藏
分享
07-06 18:42
已编辑
四川音乐学院 运营
简历很差吗?
一个大厂员工➕我说给我内推我把简历发给他之后酷酷一顿贬低然后让我交三四百给他给我指导优化简历咋滴不给钱就不内推了吗,牛友们看看还有哪些地方要优化啊……
机械打工仔:
给钱他也不会给你内推,不要被骗了
那些拿到大厂offer的...
点赞
评论
收藏
分享
07-12 00:27
武汉文理学院 测试工程师
求指点
投简历全部石沉大海,有没有软测大佬能给我指点一二啊!!!
jnsytgsyqj...:
简历跟测试没关系,你更适合运营
点赞
评论
收藏
分享
07-22 13:43
门头沟学院 测试工程师
秋招第一面
有点焦虑
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
实习包装不是吹牛皮,要怎么包装看这里
4.3W
2
...
百度提前批一面 7.24
5264
3
...
百度一二面凉经
4593
4
...
字节复活赛
4461
5
...
入我滴滴!早十晚六 !
2928
6
...
再再再再强调一遍!秋招不要装逼
2636
7
...
滴滴提前批面经
2506
8
...
百度一面面经7.14
2478
9
...
百度提前批一面:面试官居然让我手撕两数之和???最奇幻的一轮面试,结束还说.......
2335
10
...
终章
2139
创作者周榜
更多
正在热议
更多
#
哪些公司开提前批了?
#
24291次浏览
255人参与
#
你今年的平均薪资是多少?
#
133837次浏览
685人参与
#
风评不好的公司,你会去吗?
#
57393次浏览
418人参与
#
实习如何「偷」产出?
#
48320次浏览
1263人参与
#
正在春招的你,也参与了去年秋招吗?
#
312598次浏览
2528人参与
#
除了主业以外,你还有哪些其他收入?
#
11287次浏览
196人参与
#
互联网公司评价
#
401071次浏览
3836人参与
#
你最满意的offer薪资是哪家公司?
#
32961次浏览
176人参与
#
节后第一天上班,我的精神状态
#
13374次浏览
117人参与
#
不卡学历的大厂有哪些?
#
26978次浏览
217人参与
#
校招阶段,学历VS技术哪个更重要?
#
16552次浏览
182人参与
#
职场新人体验
#
23620次浏览
230人参与
#
签约/解约注意事项
#
696795次浏览
4068人参与
#
应届生初入职场,求建议
#
229630次浏览
2642人参与
#
你投递的公司有几家约面了?
#
108752次浏览
778人参与
#
腾讯音乐求职进展汇总
#
97976次浏览
570人参与
#
校园里的破防时刻
#
10473次浏览
119人参与
#
硬件人求职现状
#
434409次浏览
4539人参与
#
正在实习的碎碎念
#
1454156次浏览
13469人参与
#
宁德时代求职进展汇总
#
122679次浏览
650人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务