华为（中软国际外包）大数据开发面经

1、请说一下SVN、随机森林算法的底层原理，（白菜只弄过几个聚类算法的😓），看你简历写你熟悉，说一下.上来就是下马威2、spark的底层详细说一下，它跟hive的区别有哪些？然后你是怎么对数据库调优的，遇到了哪些问题，你是怎么解决的3、一个话单，很多用户数据，要求分析他卡顿原因，你打算怎么对他做数据开发？如果用到机器学习，你怎么去做数据挖掘，打算用什么算法，并说明为啥用这个4、你们的数据分层有几层，数据库的底层调优是你们做的吗？面的很唐突，感觉挂了，很明显

自我介绍实习简单介绍八股：1.java类特点2.常见数据结构及特点3.hdfs写流程4.mapreduce和spark的shuffle过程5.如何处理数据倾斜6.tcp与udp区别7.olap和clickhouse是否了解8.hdfs中的namenode和datanode作用9.secondary namenode作用10.宽窄依赖是啥介绍之前的一个项目以及难点是否了解实时数据处理方式sql题目：行转列和分数前五的学生row_number和rank，dense_rank区别算法题目：求给定数组，选三个数作为三角形三条边，求三角形最大周长总体八股考的很基础，面试半个小时草率结束

之前也面试过陌陌数据开发，问的问题如下，可能是八股多一点1，先进行自我介绍2 你这边数仓怎么分层的，你感觉那一层最复杂也最重要，为啥要这么分3 说一下shuffle和宽窄依赖 怎么可以避免shuffle4 说一下spark的4种join优化，哪些场景适合有这个join5 有遇到数据倾斜问题吗，如何定位数据倾斜，定位到了该怎么处理，处理完成之后性能提升多少6 看你有用实时，你这边实时任务资源怎么分配，如何保证你实时的数据不延迟7 讲一个你这边感觉最有挑战性的业务，你从这个项目收货了哪些东西，给你带来什么成长8 今后还打算一直做数据相关的工作吗，有换行业或者换岗位工作的打算吗9 有啥想要找我了解的

1.自我介绍，项目介绍2.详细讲一下DWM、DWT、DWS这些层的具体职责和它们之间的数据流向3.如果你的DWS层的某个指标突然不准了，你会怎么排查定位问题？你平常怎么做血缘追踪？用的是哪套工具4.能不能举个具体业务场景，说一下是怎么解耦的，带来了哪些好处5.ODS到DWS的过程中你如何保证数据质量6. 在Hive上处理过什么级别的数据量？任务最长耗时是多少？怎么优化的7.如果Hive一个任务执行特别慢，你会怎么排查问题8.你说你熟悉Flink-sql，那你讲讲Flink是如何实现Exactly Once的？Flink的状态是怎么管理的9.Kafka异常数据你是怎么处理的？如果某个topic滞...