大数据就业方向

一面——60mins自我介绍拉链表的制作，数据量有多少，为什么不用快照表呢项目有哪些表数仓分层有哪些，具体做了什么，数仓分层作用怎么设计表，怎么建模，DIMDWD层的主题分了哪些如何做的可视化什么是数据倾斜，数据倾斜的解决方案Hadoop和spark的区别Spark的shuffle流程是怎么样的对哪些数据库了解Shuffle有哪几种类型在shuffle的过程中会进行排序吗，有哪几种排序什么是快速排序，时间复杂度是多少，手撕快排代码题Spark是如何划分stage阶段Spark SQL的执行流程，如何将一个SQL语句转换为任务宽窄依赖，宽依赖阶段会发生什么两个SQL题反问

校招选offer   小米上海玄戒 n*15 hr说9-7-5岗位做大数据开发的 听脉脉说加班很严重？也有末位淘汰啥的，不知道卡不卡试用期   shopee虾皮上海 （n+10k）*15+30k签字费hr说10-7-5岗位做风控的 相对比较wlb，但是听说应届会进来背指标？不知道卡不卡试用期 纠结的点在于 shopee 每月多开了10k很有吸引力，但是考虑到前几年的裁员热潮，有点不敢去shopee。还有小米玄戒是做芯片的嘛，比较新的部门，不太确定能不能顺利发展。然后还考虑到未来的就业前景，不知道芯片部门的大数据开发和风控哪条路更宽一些。

1.自我介绍2.熟悉flink还是spark答：flink3.介绍下flink架构吧答：这里越深越好，我就讲到了flink的jobmanager(dispathcer，jobmaster)和taskmanager4.flink有哪些算子?答：map,flatmap,filter,window,union等,RichFunction提供生命周期open close,上下文环境。5.flink你知道有哪些窗口吗？计数窗口能介绍下吗？答：时间窗口有滚动滑动会话，计数窗口有滚动滑动。6.你知道窗口什么时候触发吗？答：讲了一下窗口触发器trigger7.你能介绍下flink有几种窗口触发器吗？底层怎么实现的。答：讲了一下事件时间触发器和处理时间触发器的原理。8.假如flink窗口突然不触发了，你怎么排查。答：这里我答了一下排查上游其中一个流是否断流，如果其中一条流断流可以设置withIdleness空闲时间，让窗口的最小水位线机制去掉那个断流的依赖，靠另外的流触发计算。这里面试官提了一个场景，如果小米商城半夜就是没人买东西或者数据量很小导致水位线不能及时更新，（就是每条流都没数据）那你该怎么触发呢？利用窗口触发器ProcessingTimeoutTrigger 9.口述一道sparksql题10.sparksql优化答:(1)sort by 代替 order by，需要结合distribute by使用。(2)count(distinct)优化(3)列裁剪(4)谓词下推(5)优化MAPJOIN阈值。(6)定期合并小文件，防止maptask数量过多(7)多用explain看执行计划,避免笛卡尔积等意外情况11.执行计划怎么看每个stage是根据shuffle切分，执行计划会写上具体的操作符和数据量和JOIN规则。12.distrubute by 会发生shuffle吗？根据什么字段distribute by? 这个和cluster by的区别是什么？13.反问：(1)小米数仓具体是做什么数据？(2)为什么岗位介绍上写了机器学习？面试官说这个有专门团队去做，跟数仓关系不大牛客字数限制，答案写的有点简略小米面试官的技术感觉很强，态度好，体验很不错，希望以后有机会能进吧。#大数据开发#

历年面试题总结：大数据面试题 V4.0大数据面试题 V3.0大数据面试题 V2.0不知不觉面试题已经到5.0了，从19年拿到offer后，陆陆续续整理，5.0能整理的八股内容也不多了，废话不多说了，说下这次更新了多少题。越长大，想说的就越少，愿你我都能成为一个普通人，保持好学心态，好好生活。