美团数开面经

项目追问： 1.你如何去评估一个数据仓库的好坏？2.你如何去完成数据的质量治理？3.你如何去制定优化数据仓库的方法？总体来说都是很开放性的题目，要对数据仓库有自己的思维和理解，以及要有一定的整体意识和目标意识。八股：1.spark的作业调度2.spark和mapreduce的区别3.sparksql的执行流程以及catalyst优化4.spark的内存结构5.flink和spark有什么区别？项目的flink是如何使用的？八股部分比较基础。算法：三道简单sql一道leetcode hot100 是medium还是hard忘了，不过都hot100了出啥都一样算法部分比较简单。

面试官上来就说了面试 45min，分为三个部分（自我介绍+大数据相关的知识提问题+写代码）shopee 是我秋招到目前为止体感最好的一家，面试官说话很有逻辑，也很会引导，对每个问题都有反馈。并且不同的提问会环环相扣，不是照搬八股对着念。这场发挥还行，手撕都写出来了，只有场景题没回答上，但是面试官也说没关系。1. 自我介绍2. 实习部门的业务介绍3. 工作中有什么数据倾斜的问题？4. Spark 的内存管理机制是怎样的？OOM 问题是怎么造成的5. 场景题：不一定要局限于 Spark 的框架。有一个很大的数组，这个数组有 1w 个元素，需要对这个数组从小到大进行一个全排序。但我们的内存没有那么多...

更新：已经面完了，希望不要一面凉75min 好长啊，嗓子要哑了两个题判断四点是否能构成平行四边形判是否为“竖线”，然后判是否重合，y轴之差是否一致否则判斜率相等，b是否不相等（不相等等价于不重合），x轴之差是否一致然后交流了半天思路给定两个JSON，尽可能多的输出不一样的地方递归搜索概念性八股问的比较散，操作系统什么的。。。（忘了XD）---然而还没面，希望不要一面凉起码让我体验体验二面的感觉呢OAOPS：如何让牛客多推点流呢，我只是想找大佬交流呜呜

70分钟1.自我介绍2.业务复盘和收获3.spark的reduce阶段4.核心表和拓展表的建设5.模型的健康度6.数据治理7.应用层直接引用ods层会有什么问题？怎么解决？8.对于spark的参数调优9.对于数据倾斜，spark自身的优化有哪些10.提到的AQE会对占比70%这种的极端数据倾斜做哪些处理11.这个过程叫什么join20分钟手撕会话日志表（未按时间戳排序），两个字段：user_id，create_ts（时间戳），时间戳间隔小于30秒的为有效会话，超过30秒会认为是无效会话，如果是单个记录会认为是1秒的会话。请输出表，记录有效会话信息，user_id，keep_ts（会话时长），s...