大数据开发一面

项目为sgg经典离线数仓1. 自我介绍2. 项目介绍（难点、亮点）3. 根据难点亮点提问4. 数据域是什么，如何划分数据域，为什么这样划分数据域5. DIM层维度表的设计原则6. DWD层事实表设计要点7. mapreduce shuffle流程8. maptask和reduce task 与哪些因素有关9. 数据热点（数据倾斜）在哪些场景下出现，如何解决10. spark是为了解决mapreduce什么问题设计的11. 手撕sql ，用户关注表有user_id、user_follower_id，求相互关注的用户对(这里想考察的应该是当数据量大的时候，如何不使用join来求相互关注，因为当时场景给定的id是字符abcd，可以考虑使用concat)12. 谓词下推是什么13. 连接条件写在on里和where里有什么区别14. count(1)和 count(*)的区别15. count(1)如果其中有Null值，和count(*)一样吗，为什么16. mapreduce和spark处理distinct去重操作的执行计划以及原理（下去搜了下，面试官想听的应该是mr在执行distinct时会只用到一个reduce造成大量shuffle这个点）17. sparksql调优的方法依赖日志诊断，具体不同情况如何根据日志去调优18. 反问5.10 更新  流程已结束 双非属鼠又一次倒下了

自我介绍：是怎样的人，有怎样优势，做怎样改进岗位是否匹配预期介绍工作内容业务方沟通需求整理数据，提出数据，可视化提供给业务方能力：沟通，数据分层实践数仓了解多少机器学习拷打SQL考察思维题什么是数据分析面试官简述数据分析理解反问

一面——60mins自我介绍拉链表的制作，数据量有多少，为什么不用快照表呢项目有哪些表数仓分层有哪些，具体做了什么，数仓分层作用怎么设计表，怎么建模，DIMDWD层的主题分了哪些如何做的可视化什么是数据倾斜，数据倾斜的解决方案Hadoop和spark的区别Spark的shuffle流程是怎么样的对哪些数据库了解Shuffle有哪几种类型在shuffle的过程中会进行排序吗，有哪几种排序什么是快速排序，时间复杂度是多少，手撕快排代码题Spark是如何划分stage阶段Spark SQL的执行流程，如何将一个SQL语句转换为任务宽窄依赖，宽依赖阶段会发生什么两个SQL题反问

2024.04.18 一面 自我介绍 项目相关 聚合函数、Group By 是如何实现的 Join 如何实现的，答的是二维循环遍历所有的结果 追问：这种方法有什么优化？答了索引优化、哈希表优化 哈希表优化的方式，如果建立哈希表特别的大，右边的特别小怎么办？ 答了系统会做优化，选取左边或者右边比较小的那个表 追问：这个选择左边或者右边一般是在数据库哪个模块做的？（答：MySQL 当中是优化器） 大概知道这个优化器的实现原理吗？ 扯了 MySQL 通过 Explain 语句，根据数据的行数选择决定用哪个表做哈希 追问：你知道 Explain 语句是怎么实现的吗？ 介绍一下项目 Buf...