美团大数据开发oc

总计1h 0. 面试官介绍1. 自我介绍2. 深挖项目（这里巨细无比，连怎么开发的，设置什么参数都涉及到了，太狠了）3. 上一段实习经历为什么没转正？这一段实习经历能转正吗？4. spark了解吗？说下spark遇到查询时间过长的时候怎么解决5. 直接问具体表现是什么6. DAG图哪个地方？如何确定是map算子还是shuffle算子时间过长？ exchange exchange exchange!7. Flink的时间语义讲一下，最多用在哪个方面？8. Flink的sink了解吗？怎么sink的？9. 为什么选择落到doris中，是什么原因让你们选择了doris？10. Doris的性能优化讲一下11. 用过doris的索引吗？比如bitmap索引12. 你们在计算uv的时候有用到吗？13. 你说doris的多维聚合和分析能力很强，实际用过吗？14.  如何确保实时和离线指标一致？ 我差点展开说，被制止了15. 目前秋招进度怎么样了？有意向了吗？ 这里我说太多了，有点后悔，不应该具体说细节的手撕：sql：group聚合+lag窗口函数问我会不会java，我答不会，会python，手撕算法作罢反问：1. 业务有哪些？2. 对应届生的技术栈和性格素质的期待？3. 工作强度大吗？最后面试官给我提了个意见/建议，说我话太多了太冗余了，需要精简，确实应该好好思考一下。1h后更新：1面过了

总算等来了美团的一面，这是我很期待的一场面试，希望发挥好

bg 9本硕，某团暑期实习。记录一下80分钟：5分钟1. 自我介绍35分钟2. 了解实习经历3. 针对实习项目，问数据层次怎么分层4. 数据分层的作用5. 针对具体实习项目，说明业务逻辑6. 说明实习项目的“订单量”这个指标从源头到产出的ETL过程7. 针对实习项目，复盘后最大的难点是什么8. 复盘之后有什么收获9. 你刚才说复盘收获是处理小文件，那么spark怎么处理小文件的？10. 处理小文件有哪些方法，举例子11. hive冷热分离的方法12. 你刚才提到了组里有做ec存储，你了解ec存储吗13. 暑期实习有什么感受，转正了吗15分钟14. 了解spark的semi join吗，他是干嘛的15. 了解spark的AQE，这是什么16. 你刚才讲AQE提到了广播机制，这个在spark中很重要，讲讲广播过程呢17. 了解网络吗？讲讲三次握手和四次握手区别。18. 了解数据结构吗？讲讲O(nlog n)的不稳定排序算法。20分钟两个编程题：Q1.求开方：给定num=5.79，error=1e-8，求x使得abs(x^2-num)<error19. 先讲讲思路吧，有什么思路：二分O(log n)20. 刚开始没做出来，面试官提示了下细节21. 后面二分法做出来了，面试官说那如果num小于1有什么变化呢22. 面试官问还有什么方法吗：牛顿下山法23. 公式写上去，但是面试官不关心公式，关心原理：会无限逼近24. 如果是三次方四次方，牛顿下山怎么用呢，公式会变的Q2.1TB的int类型数据怎么在512MB的虚拟机中求中位数25. 已经70分钟了，没时间了，没要求写代码，只要讲思路：外部排序，归并思想26. 面试官问还有什么方法吗：没想到了，但是后面搜了下有分布式排序，mapreduce排序等，估计想让我回答spark相关的，但是真不知道。5分钟反问27. 反问业务、作息、感受：都是套话28. 反问可以提升的点、我的不足：涉及到应聘者的评价，不能说。29. 谢谢面试官勒，吃饭去咯。

​ 今天下午面了一场快手的数据研发岗，面试官非常温和，没有问什么很偏的问题，体感还不错。最近准备大数据岗面试的这段时间，发现市面上并没有很多关于大数据的面试资料，所以我从现在开始想尝试着把每次面试官问的问题汇总给大家，供大家做一些参考。​HDFS的存储机制是怎样的？​ HDFS是为大规模数据（大文件，顺序读写）设计的分布式文件系统，它把文件切成块（block），分布存储在多台机器上，通过副本（replication）提供高可用。其中最主要就是NameNode 和 DataNode，NameNode 负责存储文件的元数据（block块的大小，block块存储在哪个DataNode负责的节点上等）...