美团数据仓库工程师一面 40min

一面 1.项目拷打2.讲讲项目中重要的表3.数据清洗是怎么做的4.Spark中Driver和Execture，如果要计算比较大的表应该怎么分配内存5.如果我要广播一个100M的表我应该考虑哪些内容？6.Spark中默认广播大小是多少7.讲讲宽窄依赖8.宽依赖算子9.map跟mapPartition的区别10.hive中动态分区跟静态分区写入数据的区别11.flink一致性语义是怎么做的12.flink怎么处理迟到数据13.如果迟到1 2 个小时的数据，应该怎么处理14.水位线有哪几种？15.SQl题目 求出至少连续3次出现的数字16.项目中收获最大的是什么17.工作场景中，作为新人遇到一些问题，该怎么解决18.如果很多需求方都来需求，任务很紧急该怎么办19.反问HR面1.技术是学校课程还是自学的？2.往数据开发方向学习的原因3.java跟python的区别4.对数据工程师岗位的理解5.对那个项目理解比较深？6.项目主要做的工作有哪些7.项目比较耗费时间的事情是什么？8.项目中的困难点9.做项目中的成就感有哪些10.为什么选择深圳11.对实习有什么期望和想法12.目前投简历大概多长时间了13.反问

一面（面试官很好！很有耐心！）1.spark中rdd叫弹性分布式数据集，这个弹性的含义2.小文件的危害以及怎么处理3.spark中宽依赖、窄依赖4.stage的划分5.kafka怎么保证数据不重复消费（没回答上，但说了怎么重复消费数据）6.checkpoint机制7.spark的三种join（boardcast join,sort merge join,shuffle hash join）7.四道sql（前两道很简单，第三道次日留存和七日留存，第四道连续登录问题）8.算法题：移动最少区间个数 使得剩余区间无重叠1. 输入：[1,2][2,3][4,6][1,3]2. 输出：13. 解释：移除[1,3]后，剩余区间无重叠（面试后在牛客网看见有人分享这道算法题）一面最后面试官还问我以后的计划，我说打算先实习明年春招边实习边找工作，她居然问我没想留着字节吗（我当然想！）中间有些问题没想起来，耗时1小时40分钟二面（面试官很好！问的都是和数仓相关的，结合我的实习问）1.之前工作都干了什么2.之前实习搭建数仓的结构3.了解事实表吗，了解维度表吗4.怎么和其他人对接的5.你属于风控部门，但主要是构建数仓开发，那有没有和其他数据开发人员交流过6.你只有一段实习吧，那实习前后有什么感悟吗7.为什么要选择数据开发（我说因为之前实习是干数仓的，他说不要因为之前干什么就觉得以后三十年干什么，实习还是丰富点，看看干什么）8.最后反问二面耗时50分钟，感觉面试官对我回答的第七个问题不满意，只是我明年要毕业了，得多来一份垂直的实习建议多复习spark、hive方面的八股文、概念问题，实习生主要负责离线数仓开发

一面笔试 场景题:订单表、产品表、客户表三表连接，查询近30天复购率的Top3品类，去除脏数据（金额<0），描述索引优化。理论题:画出数据仓库导图，对分层作用进行描述。画出关于x（忘了）的星图。二面面试:自我介绍、基本情况、上一段实习。ps:笔试做的很差，所以面试走流程，其次简历上主要写的数据分析经历，该公司目前处于数仓搭建初期，还没到可视化阶段，不符合职业需求。结果:包寄。

综合体验: 差，面试官没看简历，没准备好面试问题，指望候选人无靶射击猜他的心思感觉这个面试官不仅对自己的业务不熟，连要提什么问题都没想好，指望候选人自己猜他要问的啥面试官也有实习的么？自己的业务名词都说不清楚，还得楼主给他补充唯一说出来的完整专业名词是云真机和API接口面试问题：1. 自我介绍介绍过程中，听到他不断翻简历的声音，为了配合他看完，楼主无限延长介绍时间到他翻结束2. 最近的项目经历楼主说了一半感觉他一点都没听懂，又做了详细解释，后来听他的语气不想继续听了，就后面加速结束3. 面试官思考了1分钟，（嗯，空气很尴尬）你测过app端么？4. 如果我给你一个测试项目，你要怎么保证产品质量？楼主反问，不假设测试场景，直接说么？回答：是的楼主从测试方案设计、测试用例、评审、测试轮次、测试过程、异常情况、测试报告，以及bug验证收敛，里面的各个注意点都说了一遍，包括用什么测试技术（因为没有测试场景，只说了一些通用技术）然后说楼主说的太low, emm，楼主表示很不理解， 难道你平常测试全是敏捷测试么？ 想到什么测什么？这些流程都不用走？据楼主后期探口风，他想听的是怎么测白盒测试，那你为什么不直接问“怎么测白盒”呢？