首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
淘气的肖恩在offer比较
门头沟学院 数据分析师
发布于四川
关注
已关注
取消关注
@Grace13:
数据分析必问题——AB实验(2)
在上一篇文章中,我主要介绍了AB实验是什么、运用场景以及如何设计和评估实验,在这篇文章中,我主要介绍AB实验中经常被问到的一些问题,我大致将这些问题分为两类:1.统计学相关问题重点考察统计学知识第一类错误和第二类错误是什么?两者有关系吗?应该控制第一类错误还是第二类错误?假设检验的基本原理是啥?p值是什么?2.实操的问题重点考察是否对AB实验的实际运用有一定了解说一下AB实验的流程?AB实验底层用到哪些检验方法?各类方法分别适用于哪些场景?如何保证或者检验流量分配是否合理?为什么实验有效果,全量上线后没有效果(或者反向)?实验结果不显著怎么办?实验样本量不足怎么办?实验运行中可以新增实验组吗?3.部分问题答案 1)实验分组需要注意些什么?实验单一变量原则:保证对照组和每个实验组间 “有且仅有一个变量”,以确保对实验效果进行准确归因或量化;保证分流均匀随机:可通过AA实验帮助检验分组的随机性 2)如何确定实验指标?核心指标:实验最想要提升的指标,公司或者业务的核心指标,比如日活、营收或时长;观察指标:包含实验会直接影响的过程指标,以及实现最终指标所需要的关键环节指标,比如某个功能的曝光量或者转化率;全局指标:包含实验策略可能带来的一些负向影响,比如有些策略可能会损害用户体验,导致用户流失,可以看卸载率指标,还包含一些实验可能带来的正向效果评估指标,是策略好坏的直接评价,比如留存率、点击率等。 3)如何确定实验所需的样本量? 理论上,样本量越多越好;现实操作中,样本量应该越少越好(置信前提下),更大的样本量和更长的实验周期能获得更大的统计功效(power)和更准确的测试。根据「实验核心观测指标预计的变动量」、「指标方差」、「实验允许犯第一类错误和第二类错误的概率」来确定所需的最小样本量,Z检验下的样本计算量公式如下: 不同检验所需要的样本量计算方式不同,具体场景需要具体分析。样本量公式推导是通过假设检验中对统计功效(Statistical power)的计算推导而来,具体推导公式不在这儿展开,数据分析面试一般不会深入展开。 4)AB实验中第一类错误、第二类错误和统计功效分别是什么?原假设:A组和B组无显著差异备择假设:A组和B组有显著差异第一类错误:去真,原假设为真,拒绝原假设。A和和B组本身无差异,但实验结论是有差异。第二类错误:取伪,原假设为假,没拒绝原假设。A组和B组本身有差异,但实验结论是没有差异。统计功效:当原假设为假,拒绝原假设的概率,也就是【1-犯第二类错误的概率】。A组和B组有差异且实验结论是有差异。样本量一定的情况下,第一类错误和第二类错误有着此跌彼涨的关系,具体应该控制第一类错误还是第二类错误需要视情况而定,看哪类错误的成本更高。 5)实验观察周期如何确定?至少一周,以便不同活跃周期的用户都能被观测到,比如有的用户习惯工作日活跃,有的用户习惯周末活跃;排除新奇效应的影响,对于一些前段UI更改实验,用户很容易感知到,实验前期用户可能出于好奇心会去体验,这时候观测的指标其实是有偏的,一段时间后新奇效应消失后,实验的效果才会趋于稳定,因此针对这一类型的实验需要一个较长周期的观测来避免新奇效应;观测核心指标在实验后的变动趋势,当核心指标变动相对稳定时才能关闭实验。[yeah]关注我,下一篇会继续补充关于AB实验的高频问题~欢迎大家评论区讨论~大家后续想了解数据分析或者商业分析哪些方面的内容可以再评论区留言告诉我哦~🍻一起成长吧~
点赞 16
评论 1
全部评论
推荐
最新
楼层
暂无评论,快来抢首评~
相关推荐
昨天 22:44
OPPO_运营管理_HR
腾讯提前批面经
⭕一面:拷打两小时,一堆数据库和os、计网相关的问题: 1. 键入一个域名,整体怎么做流转的,要很详细 2.然后http协议那里,对于粘包问题,我们可以怎么解决。追问: 在http协议中,怎么判断拆包后组装后是组装完了,而不是一部分 3.尝试推导redis是怎么做分布式的,如何保证写入一样数据库 即使某些库发生了崩溃,数据仍然存在 4.raft协议里面为什么是n/2+1认为ok 5.a函数调用b函数,汇编角度怎么发生的 6. 算法:(1)字符串转16进制,并且16进制转字符串 (2)实现lru,并且key.size() << value.size() (进阶版:多线程实现) 二面:...
投递腾讯等公司7个岗位
点赞
评论
收藏
分享
昨天 17:49
温州大学 golang
PDD提前批笔试会被保存到正式批吗?
提问,提前批投递后直接挂了,但是做了笔试,不影响正式批的投递,挂了会对笔试有影响吗?
投递拼多多集团-PDD等公司10个岗位
点赞
评论
收藏
分享
06-02 23:35
门头沟学院 后端
在 boss 上找到了好工作
六十块钱的发烧友,哈哈哈哈哈哈哈哈哈哈
门口唉提是地铁杀:
之前b站被一个游戏demo深深的吸引了。看up主页发现是个初创公司,而且还在招人,也是一天60。二面的时候要我做一个登录验证和传输文件两个微服务,做完要我推到github仓库,还要我加上jaeger和一堆运维工具做性能测试并且面试的时候投屏演示。我傻乎乎的做完以后人家跟我说一句现在暂时不招人,1分钱没拿到全是白干
你的秋招第一场笔试是哪家
点赞
评论
收藏
分享
06-24 17:38
已编辑
哈尔滨工业大学 产品经理
26硕找实习找了三个月,至今0offer
我愿称为实习悖论➡️大公司实习经历不够➡️小公司说我稳定性差(实习时长我只能3个月,还要回尔滨秋招)求大佬帮看看简历🙏求推荐的岗位🙏工资一点要求都没有,自费实习我都愿意全国可飞,租房子实习
vicky_023:
先说能干六个月进去了再润呗 太老实啦
0offer是寒冬太冷还...
点赞
评论
收藏
分享
07-17 11:27
门头沟学院 Java
26秋招米哈游简历挂
应该是卡学历,笔试都没发
投递米哈游等公司10个岗位
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
实习,你就这么偷
7263
2
...
20250716 - 百度 - 后端开发 - 一面
6060
3
...
实习包装不是吹牛皮,要怎么包装看这里
5515
4
...
为什么有人说 211 以下就进不了大厂了?
4549
5
...
关于牛土兵教育割韭菜的事实
4404
6
...
百度提前批后端一面 —— 亚历山大,特批拿下
3943
7
...
滴滴提前批面经
3701
8
...
滴滴提前批凉经(一面,二面)
2269
9
...
再再再再强调一遍!秋招不要装逼
2009
10
...
百度提前批
1856
创作者周榜
更多
正在热议
更多
#
校招阶段,学历VS技术哪个更重要?
#
8923次浏览
113人参与
#
顺丰求职进展汇总
#
52754次浏览
283人参与
#
不卡学历的大厂有哪些?
#
15199次浏览
112人参与
#
腾讯音乐求职进展汇总
#
96883次浏览
563人参与
#
没有合适的工作,你会先找个干着,还是考公考研
#
121110次浏览
1145人参与
#
除了主业以外,你还有哪些其他收入?
#
5987次浏览
103人参与
#
实习时,大家都怎么称呼自己的mentor?
#
42874次浏览
270人参与
#
摸鱼被leader发现了怎么办
#
60509次浏览
369人参与
#
视觉/交互/设计招聘信息汇总
#
17950次浏览
612人参与
#
社恐入职新公司如何融入团队
#
10709次浏览
62人参与
#
实习如何「偷」产出?
#
24359次浏览
297人参与
#
风评不好的公司,你会去吗?
#
44818次浏览
320人参与
#
考研可以缓解求职焦虑吗
#
53371次浏览
474人参与
#
职场新人体验
#
14048次浏览
144人参与
#
实习打杂,要跑路吗
#
12137次浏览
156人参与
#
校园里的破防时刻
#
6765次浏览
76人参与
#
金融财经春招备战日记
#
22530次浏览
134人参与
#
求职遇到的搞笑事件
#
121579次浏览
795人参与
#
听到哪句话就代表面试稳了or挂了?
#
175813次浏览
1395人参与
#
软开人,秋招你打算投哪些公司呢
#
107538次浏览
976人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务