蚂蚁金服 大数据开发

#面试问题记录# 下面是我3轮技术面问的问题1 Hadoop包含哪些组件，分别介绍一下2 你眼中的大数据该干的活都有哪些3 数据延迟该怎么解决4 数仓模型设计流程，数据域，主题怎么划分，数据如何确保一定一致，如果数据出现丢失该怎么解决5 实时计算消费卡夫卡延迟该怎么处理，并行度和自愿该怎么分配可以做到不浪费也不会影响任务的产出6 你觉得自己在数据开发方面有哪些优点，平时是怎么表示出来的7你为什么要离职来阿里#牛客AI配图神器#

1.简单介绍一下项目2.假设现在有一张表数据重复，用两种方式去重3.数仓分层及其作用4.数仓为什么要分层5.缓慢变化维是指什么，常见处理方式6.ETL分别指哪三个步骤7.星型模型和雪花模型的概念及其区别8.Hadoop有哪些组件9.Hive的外部表和内部表有啥区别反问：入职之后主要干啥，刚才答得怎么样PS：面完之后我感觉是kpi，但是面试官又追问我什么时候可以入职（听他的意思有种想让我51后入职的感觉，但是我说最早可能得6月，然后他说回去组内再商量一下），然后夸我基础扎实，我说是不是安慰我（因为感觉他问的很简单，然后我上午面试刚被拷打完。。。），然后他解释说他之前面的几个人答得很不好（？？？）...

#数据人的面试交流地##实习进度记录##数据人的面试交流地#作业帮时间是随机的，今天下午测的。作业帮是10道选择题加2到算法题：选择题：考了数据结构排序二叉树，linux命令：awk '$NF' test 这里的test是一个有多行数据的文件，这命令是输出该文件末行的内容。还考了mapreduce优化数据倾斜的办法这里我好像选错了有两个选项一个是把count(distinct ) 替换为sum()group by 还有是将小文件先保存到内存中这两个好像是对的都可以优化数据倾斜此问题。还考了Flink的一些特性不过我还没学过flink，还考了kafka的高性能和低性能的一些问题，这我也是一脸懵。还考了六个盘的汉洛塔要移动几次才通过。然后是算法题，第一个是简单的二分查找，不过我只通过了94%，后面看估计是我对左右指针移动还是有点问题。第二个是leetcode32题，最长有效括号，可惜了我两个月前还写过但是还是没写对，只通过了63%。也不知道能不能过。阅文（寄了，以为是8.30考没想到是8.30结束结果只写了20分钟）：这好像是前面是单选题，中间是不定项，后面是问答题单选题：考了hive内置函数，考了hive与spark的对比，hadoop节点默认备份是多少~（还考了斗破苍穹的主角是谁虽然我没看过印像中好像叫萧炎）不定项：有mysql中delete，drop和truncate这三者的区别特点（我对truncate完全没印象），还考了flink的一些知识。问答题：第一个是mapredce工作流程这个还好，第二个是如何解决spark数据倾斜的方法。这里时间不够了我一点没写，也没多少印象。这里我现在写一下加深点印象1.可以增加随机前缀或后缀：来打散数据分布，在后继计算中去除前后缀从而负载均衡2.广播小表，如果是原因是小表与大表join可以将小表广播到每个节点，避免产生数据倾斜。3.salting方法：为倾斜数据填加盐值，打散倾斜数据4.分区策略调整：通过自定义分区器或者合理选择内置分区器来均匀分布数据5.增大并行度：针对只有少量数据造成的倾斜任务，增加并行度可以更快地处理这些小任务6.数据预处理：合并一些小文件，fliter操作等第三四个就是写sql语句，第三个挺简单的就是第四题来不及看了。ok就是这些了，预祝大家都能找到自己想要的工作实现，我还是继续去沉淀去了，这一个月也不知道自己在忙些啥好像就是一直在刷算法题和sql题，八股都没怎么看，对组件的掌握还是太浅了。#实习##数据开发工程师实习##暑期实习加油##牛客AI配图神器#

啊一切都是命运之门的选择，8年b站老用户没想到能拿到offer,来b站两周了，简单说一下在阿b的感受吧 面试整体很丝滑，4.28hr面—4.29leader面—4.30上午面完晚上就发offer了 我猜是因为之前做过珀莱雅在B站渠道的媒介和综艺《萌探3》的pd，有商务的经验，整体比较匹配岗位所以过的很快 想了解面经的后面会发一个完整的笔记 1️⃣工作氛围：入职后感觉每天都很开心，部门氛围很好，工作也很有成长性。部门都很年轻，会耐心教工作内容，很多S级项目从策划到落地都可以参与，有不懂的及时提问，哥哥姐姐们都很好，每天都感觉进步一点点。 2️⃣工作时间：我们部门是11点上班8点下班，弹性...