大数据

timeline：3.24投递3.28约1面4.07一面拷打项目30分钟；数据倾斜怎么定位，怎么解决；clickhouse了解吗；udf，udtf，udaf的区别，需要重写哪些方法；sql题topn，爆炸函数；算法题快速排序。4.08约2面4.10二面拷打项目30分钟，感觉和一面问重了；主题域怎么分的；场景题：外卖业务，有商家骑手和用户，怎么划数据域，建什么表；hdfs读写流程；spark怎么优化；sql题连续三天登陆；算法题合并有序链表。4.16约hr面4.17hr面聊了50分钟。聊个人经历；为什么转码；你的优势；工作中犯过什么错吗，反思到了什么；刚进来工作怎么熟悉业务。反问：薪资；base地。4.18 催了一下，口头oc，offer审批4.21 书面offer

大数据  在家里没有事情可做 ，闲暇时间整理了大数据的面试知识点，欢迎大家收藏，关注，批评，指正！！！完整版链接 已经放下面了，后期可能在出一期 数据仓库 知识点！ 下面还有Java面试！！！ 最近整理了 MySQL数据库的点 欢迎大家 批评指正 😂  各位看官老爷，如果觉得写得还行，请给给个五星好评⭐⭐⭐⭐⭐ 大家好，我是2022年「博客之星」参赛博主：拉格朗日（Lagrange），正在参加年度博客之星评选，请大家帮我投票打分，您的五星好评都是对我的支持与鼓励： ⭐⭐⭐⭐⭐ https://bbs.csdn.net/topics/611387640 ⭐⭐⭐⭐⭐ https://bbs.cs...

时长：1h 由于问题太多，分四类进行整理0. 实习相关：之前有数据开发的实习经验，就问了之前工作有没有spark或者hivesql优化的经验；如何确保数据的有效性；实习公司数据存储格式（Parquet），还知道哪些数据存储格式1. 大数据相关问题：为什么Spark比MR快；对Spark的了解；两个表join的优化方法（大小表join可以map-side join, join前过滤null值）；HDFS的读写流程；Spark shuffle的过程（不太了解，只讲了个大概）2. java基础的问题：HashMap底层原理（链表+数组 & 红黑树）；又问了对红黑树的了解，能讲个大概原理就行，对细节要求不高3. 数据库问题：数据库的索引的数据结构（这个不太了解）；ACID；数据三范式（1NF, 2NF, 3NF）做题：1. sql题：从成绩表中得到总成绩排名第三的学生id和成绩；将表中一列转换成一行(e.g. 表属性为[dt, col1, col2], 转换为[dt, key, value], 其中key为col1，value为col1列中所有数据)2. 快速排序（快排出场率真的好高）3. 海量数据题：从两个数据量50亿的文件中得到相同url（hash写到多个小文件+hashmap）