快手提前批数据架构研发工程师一面面经

快手提前批数据架构研发工程师一面面经 2020.08.31 1小时

1.介绍项目

2.flume采集数据的时候用的source源的类型

3.flume+kafka+sparkstreaming这个流程中为什么要用kafka而不用redis等；把kafka的优点答一下完事

4.kafka零拷贝的实现原理

5.如何保证整个流程消息不重复消费

6.hadoop中挑你最熟悉的一个组件讲讲：mapreduce

7.mapreduce的环形缓冲区的100m大小啥时候调整，调整完有啥影响？能不能把它调成无限大？其实在问环形缓冲区的调优

8.环形缓冲区的作用是什么？

9.mapreduce的map端切片机制

10.每个切片大小128M可以改变吗？有啥影响？其实就是切片机制及调优

11.hdfs可以读哪些类型的数据？如果不是读的datanode的block块数据的话，128M还有作用吗

12.jvm内存模型

13.jvm垃圾回收算法？把整个对象分代过程及用的算法全说了一遍,还扯到Eden区的TLAB

14.TLAB的作用是什么？它会带来什么问题？在面试官的引导下答出来了

15.jvm堆内存满了怎么办？

16.手撕代码：两个有序数组，找第k大的，时间复杂度o(M+N)

面试体验不错，不会的面试官会引导你，更深刻的认识了一些知识，偏重调优，准备二面

#校招##快手##面经##数据开发工程师#

全部评论

推荐最新楼层

丶LF

东北大学 Java

快手一面多久之后二面的?

点赞回复分享

发布于 2020-09-22 20:30

python888

北京交通大学 Java

拿了几个offer了，大佬

点赞回复分享

发布于 2020-08-31 20:58

昨天 18:26

门头沟学院测试工程师

家里人一直跟我说要给领导买点东西，搞好关系

家里人这种思想对吗？最近找到了某大厂算法岗的实习，家里人一直跟我说要给领导买点东西，搞好关系，我真的搞不清楚他们这种思想到底怎么来的，真的很烦他们教我做事，他们总觉得自己是对的，我不照着他们的想法做，就觉得我态度不对，之前找实习也是只会嘴巴上对我说你要加油，你要努力，但是根本不知道我背后付出了多少努力，真的好烦被教做事的感觉。

青春运维少年不会梦到...：小时候老爸每次外出打工，我都会说注意安全，可是我真的懂老爸的工作吗，一个小学文凭的人出去打工能有什么安全的工作，可是老爸还是慈祥的回应我，仿佛每天能安全回家都归功于我的祈福。到了现在，我跨越3000多公里去了陌生的城市，老爸还是那个老爸，只不过现在多了问我的情况，会问我适应新城市吗，适应工作强度吗，到最后真的好奇，问我这个工作是干啥的；老爸没文化，不知道计算机网络有七层结构，也不知道云saas订阅，我只能说，就像汽车修理厂一样，我是那个修车的师傅。老爸可能觉得真的理解不了我的工作，之后也就没多问了。不过仍然还是给我传授他的经验，对于老爸来说，他也知道我做的是他难以理解的工作，知道小县城的那套江湖规矩难以闯荡大城市，但是他依旧会关心我。。。