问大家一个数据分析业务问题:

甲公司投放问卷的满意度为70%,乙公司为80%。能否说明乙公司比甲公司广告投放效果更好?

我一开始想的是这类似于AB测试,要满足样本量超过一定阈值才能保证有足够的power,从而保证第二类错误的发生概率很小。但是这里好像又不能用AB测试,因为面对的用户不一定相似。大家有什么好的思路嘛?
全部评论
不一定,要看两个参数,样本量和显著性水平。首先是样本量,假设甲公司有100份问卷,乙公司也有100份,那么检验统计量的值为1.63,当显著性水平等于10%时,1.63 < 1.64,认为甲乙公司广告投放效果一致;假设甲有100份,乙有150份,那么检验统计量的值为1.81,认为甲乙公司效果差异显著,即乙比甲好。这是样本量,其次是显著性水平,当甲乙的样本量为100、150时,显著性水平等于10%时,认为甲乙公司差异显著,但5%时,又认为甲乙公司效果一致。这是问卷调查正常情况下要考虑的,如果问卷不正常就更严重。比如问卷发放没有随机性、问卷设计有诱导性、问卷题目数量和选项数量不合理、问卷题目之间逻辑性不强、问卷含有敏感问题、问卷词汇晦涩难懂、问卷题目表达不清等等
4 回复
分享
发布于 2020-09-24 23:56
如何衡量广告投放效果
点赞 回复
分享
发布于 2020-09-24 23:43
联易融
校招火热招聘中
官网直投
我题目好像没说清楚,最后一句可以改为:能否说明乙公司的用户满意度高于甲公司?
点赞 回复
分享
发布于 2020-09-24 23:55
懂了,感谢大佬!!!!
点赞 回复
分享
发布于 2020-09-25 00:56
除了用A/B test来看,更简单的还可以从问卷的设置角度来说。比如说两个问卷发放的人群可能都不一样,可能甲公司是广泛投放的,乙公司只向长期用过自己产品的客户投放;再比如说 满意度的指标甲乙公司的衡量标准也可能不一样;还有投放的时间、收集问卷的数量等等都会有影响。做A/B test之前,可能要先看看甲乙公司是否满足可比,保证同时性和同质性的基础之上在进行比较。
点赞 回复
分享
发布于 2020-09-25 12:31

相关推荐

点赞 评论 收藏
转发
4 收藏 评论
分享
牛客网
牛客企业服务