数据开发工程师实习

一面 1.项目拷打2.讲讲项目中重要的表3.数据清洗是怎么做的4.Spark中Driver和Execture，如果要计算比较大的表应该怎么分配内存5.如果我要广播一个100M的表我应该考虑哪些内容？6.Spark中默认广播大小是多少7.讲讲宽窄依赖8.宽依赖算子9.map跟mapPartition的区别10.hive中动态分区跟静态分区写入数据的区别11.flink一致性语义是怎么做的12.flink怎么处理迟到数据13.如果迟到1 2 个小时的数据，应该怎么处理14.水位线有哪几种？15.SQl题目 求出至少连续3次出现的数字16.项目中收获最大的是什么17.工作场景中，作为新人遇到一些问题，该怎么解决18.如果很多需求方都来需求，任务很紧急该怎么办19.反问HR面1.技术是学校课程还是自学的？2.往数据开发方向学习的原因3.java跟python的区别4.对数据工程师岗位的理解5.对那个项目理解比较深？6.项目主要做的工作有哪些7.项目比较耗费时间的事情是什么？8.项目中的困难点9.做项目中的成就感有哪些10.为什么选择深圳11.对实习有什么期望和想法12.目前投简历大概多长时间了13.反问

作业帮时间是随机的，今天下午测的。作业帮是10道选择题加2到算法题：选择题：考了数据结构排序二叉树，linux命令：awk '$NF' test 这里的test是一个有多行数据的文件，这命令是输出该文件末行的内容。还考了mapreduce优化数据倾斜的办法这里我好像选错了有两个选项一个是把count(distinct ) 替换为sum()group by 还有是将小文件先保存到内存中这两个好像是对的都可以优化数据倾斜此问题。还考了Flink的一些特性不过我还没学过flink，还考了kafka的高性能和低性能的一些问题，这我也是一脸懵。还考了六个盘的汉洛塔要移动几次才通过。然后是算法题，第一个是简单的二分查找，不过我只通过了94%，后面看估计是我对左右指针移动还是有点问题。第二个是leetcode32题，最长有效括号，可惜了我两个月前还写过但是还是没写对，只通过了63%。也不知道能不能过。阅文（寄了，以为是8.30考没想到是8.30结束结果只写了20分钟）：这好像是前面是单选题，中间是不定项，后面是问答题单选题：考了hive内置函数，考了hive与spark的对比，hadoop节点默认备份是多少~（还考了斗破苍穹的主角是谁虽然我没看过印像中好像叫萧炎）不定项：有mysql中delete，drop和truncate这三者的区别特点（我对truncate完全没印象），还考了flink的一些知识。问答题：第一个是mapredce工作流程这个还好，第二个是如何解决spark数据倾斜的方法。这里时间不够了我一点没写，也没多少印象。这里我现在写一下加深点印象1.可以增加随机前缀或后缀：来打散数据分布，在后继计算中去除前后缀从而负载均衡2.广播小表，如果是原因是小表与大表join可以将小表广播到每个节点，避免产生数据倾斜。3.salting方法：为倾斜数据填加盐值，打散倾斜数据4.分区策略调整：通过自定义分区器或者合理选择内置分区器来均匀分布数据5.增大并行度：针对只有少量数据造成的倾斜任务，增加并行度可以更快地处理这些小任务6.数据预处理：合并一些小文件，fliter操作等第三四个就是写sql语句，第三个挺简单的就是第四题来不及看了。ok就是这些了，预祝大家都能找到自己想要的工作实现，我还是继续去沉淀去了，这一个月也不知道自己在忙些啥好像就是一直在刷算法题和sql题，八股都没怎么看，对组件的掌握还是太浅了。

滴滴国际化数据开发急招实习生，要求26届，5月底到岗日常实习，非秋储，门槛比秋储低，有转正hc可直接私引流

1.你熟悉sql吗2.sql表关联有哪些3.join分类4.case when了解吗5.开窗函数中的排序函数6.问项目7.问比赛8.问几号入职9.口头offer电话面，问的挺简单的，又口头发offer，有点快，内心慌慌的

大三  找大数据开发暑假实习     投了很久还没收到一个面试求大佬指导😭😭😭

本人双非硕女生，研究方向是大数据，本来想着以后也能往大数据方向找工作，但是现在实习基本都是已读不回.......不过我确实简历很空，也没有去做过大数据的项目，只是研究方向是大数据，对spark、hadoop等大数据组件了解熟悉了一些，也阅读过spark的源码，java掌握程度也有50%左右。现在很迷茫，不知道是继续找大数据实习，还是换个方向找实习，比如产品方向？以及也有点想进国企的打算，但是学历很没有优势......有没有大佬能给点意见

【知乎】数据开发工程师实习生立即投递>>>https://www.nowcoder.com/intern/491?jobIds=28100&ncsr=更多实习>>>https://www.nowcoder.com/job/center