5月7日-微众银行大数据开发工程师数仓方向-一面面经

作业帮时间是随机的，今天下午测的。作业帮是10道选择题加2到算法题：选择题：考了数据结构排序二叉树，linux命令：awk '$NF' test 这里的test是一个有多行数据的文件，这命令是输出该文件末行的内容。还考了mapreduce优化数据倾斜的办法这里我好像选错了有两个选项一个是把count(distinct ) 替换为sum()group by 还有是将小文件先保存到内存中这两个好像是对的都可以优化数据倾斜此问题。还考了Flink的一些特性不过我还没学过flink，还考了kafka的高性能和低性能的一些问题，这我也是一脸懵。还考了六个盘的汉洛塔要移动几次才通过。然后是算法题，第一个是简单的二分查找，不过我只通过了94%，后面看估计是我对左右指针移动还是有点问题。第二个是leetcode32题，最长有效括号，可惜了我两个月前还写过但是还是没写对，只通过了63%。也不知道能不能过。阅文（寄了，以为是8.30考没想到是8.30结束结果只写了20分钟）：这好像是前面是单选题，中间是不定项，后面是问答题单选题：考了hive内置函数，考了hive与spark的对比，hadoop节点默认备份是多少~（还考了斗破苍穹的主角是谁虽然我没看过印像中好像叫萧炎）不定项：有mysql中delete，drop和truncate这三者的区别特点（我对truncate完全没印象），还考了flink的一些知识。问答题：第一个是mapredce工作流程这个还好，第二个是如何解决spark数据倾斜的方法。这里时间不够了我一点没写，也没多少印象。这里我现在写一下加深点印象1.可以增加随机前缀或后缀：来打散数据分布，在后继计算中去除前后缀从而负载均衡2.广播小表，如果是原因是小表与大表join可以将小表广播到每个节点，避免产生数据倾斜。3.salting方法：为倾斜数据填加盐值，打散倾斜数据4.分区策略调整：通过自定义分区器或者合理选择内置分区器来均匀分布数据5.增大并行度：针对只有少量数据造成的倾斜任务，增加并行度可以更快地处理这些小任务6.数据预处理：合并一些小文件，fliter操作等第三四个就是写sql语句，第三个挺简单的就是第四题来不及看了。ok就是这些了，预祝大家都能找到自己想要的工作实现，我还是继续去沉淀去了，这一个月也不知道自己在忙些啥好像就是一直在刷算法题和sql题，八股都没怎么看，对组件的掌握还是太浅了。

1 介绍一下你做的数仓工作2 数仓模型怎么设计的，用到了哪些技术3 如何做到数据不延迟，数据准确4 你觉得一个好的数仓该怎么设计5 flink和spark的区别，spark的宽窄依赖，flink的3种窗口和并行度怎么算6 卡夫卡分区该怎么控制，如何监控一个实时任务是否延迟，怎么确保数据计算是准的7 经典面试题，用户的开会时长和用户的职级判断8 目前数据湖和数仓哪个用的广，平时有接触到湖仓吗，用的哪些技术，比如hudi,paimon等等，这些技术组件哪个更好，有哪些优缺点

-项目·时序预测模型如何和数据仓库进行结合？只有数据清洗这一块吗？·数据仓库的项目如何保证数据质量、数据一致性·数据清洗的方法、怎么清洗·分布式组件开发时的难重点（*）-八股·row_number、rank、dense_rank-手撕·近半年内，登录间隔不超过7天的所有用户，有一次不超过就行（LEAD OVER）

结果：准备的不太好一面挂岗位类型：日常实习1.我看你spark用的比较多，我问你spark的问题吧，sparksql怎么转为底层的执行？2.解释一下RDD，包括RDD特性等。3.数据倾斜你是怎么解决的呢？4.spark shuffle的优化。5.spark 相关源码有了解吗？6.SQL题，行转列json的拆分(可能是用get_json_object?)（写不出来————）+ lateral view 7.还有个开窗题，dense_rank() 和 sum()的开窗。8.Dense_rank,row_number,rank的区别。9.为什么要设计DWD层，直接DWS层从ODS中读取可以吗？10.拉链表优点缺点。