快手 数据研发实习

项目 说一个你最熟悉项目，你在这里面主要在做什么工作离线主要写的是这种 Spark SQL 是吗？spark问题排查与优化我给你一个这个实际的场景吧。比如说你的一个任务，之前就是每天大概30分钟就能跑完，现在突然跑了两个小时，然后对于这个情况，你的分析以及定位解决的思路是什么样的？那你怎么判断出它确实是倾斜的呢？那看到这个 tasks 倾斜之后呢？你会怎么去解决？OK，刚才你说的是这个解法啊，就是现在的话，就是说你知道了这个，stage 也倾斜了，那你怎么我知道，是你这个 sql 里面，可能你这个 sql 比较比较长，对吧？发生倾斜的可能是有 join、group by 很多很多种情况。那你这个你这个很长的 sql 里面可能有很多的 join 很多的 group by 那你怎么知道是哪段 sql 发生倾斜的呢？你说的具体是 Spark 的哪个？UI 的哪个界面啊就是这 Spark UI 界面你之前看过是吧？有没有深析？有没有深入的研究过这个上面的一些指标的含义？以及每个页面它具体承载了哪些信息？那你说一下这个 spark 任务的一个大概的提交流流程是什么样的？最后就是一道sql题并且讲述解题逻辑求10分钟内连续下单的order_id

1.WordCount 具体是怎么跑的?比如怎么分片、map 阶段做了啥、shuffle 是咋回事、reduce 最后怎么汇总的2.MapReduce和Spark 到底差在哪儿?适用场景这些都得对比着说3.Spark 提交任务时，Client模式和集群模式有啥不一样?比如 Driver 在哪跑、日志在陖瞎圈看、适合啥场景4.同一条 SQL，为啥 SparkSQL 跑起来比HiveSQL 快?得从执行引擎、优化器这些底层说说原因5.自定义 UDF 怎么实现?比如在 Hive 或Spark 里，具体步骤是啥，有没有踩过坑6.设计 HBase 表得注意啥?rowkey 怎么设计才合理、列族要不要分、版本数怎么设，这些睪腘狐旨を曽斷纰可能问到7.HBase 里的 HLog 是干嘛的?跟数据持久化、故障恢复有关系吗8.都是存在 HDFS 上的数据，为啥 HBase 能支持在线实时查询，Hive 就不行?底层存储结构不一样在哪9.用 SparkSQL 操作 Hive 数据时，有没有縈区堠浓ゴ壮攥到过兼容性问题?比如某些函数不支持、数据格式读不对之类的，怎么解决的10.Spark Streaming、Storm、Flink 这几个流处理框架，区别在哪?各自的优缺点和适用场景得搞明白场景题:11.数据量特别大，要用三个 Map 和一个Reduce 来做 Top10，哪种方法效率最高?得考虑怎么减少数据传输、避免倾斜

1.介绍一下项目以及项目中用到的一些大数据组件2.HDFS的文件存储格式有哪些?3.MapReduce过程，MapTask和ReduceTask个数怎么确定?4.MapReduce阶段哪些因素会影响性能?5.Flink和Spark Streaming的区别是什么?6.Kafka的消息传递机制是怎样的?7.大数据处理中的一致性、可靠性、可用性如何权衡?8.数据仓库和数据湖的区别是什么?9.Hive和传统数据库的区别?10.Spark如何进行数据倾斜的优化?

1.项目介绍2.实习内容询问，角度有点偏，感觉面试官不是很懂java3.有无MySQL索引优化经验，说了实习的一段经历4.https的过程，中间对我所说的非对称加密构建会话秘钥不理解5.有无接触过java大数据开发，说无，因为之前介绍过实习做的doris业务，被面试官指正6000万级的数据量并不大6.介绍下过往设计模式的运用，解决什么问题的7.手撕，“我们来做个java题目吧”8 .反问环节，此时才面了30分钟出头