流利说大数据一面凉经
岗位:数据开发工程师
笔试通过一面。
1.项目里用到flume,flume的source、channel、sink分别用的什么类型的,flume事务。
2.kafka producer的写入数据过程
3.kafka为什么使用拉取消息的机制
4.Spark工作流程
5.Stage是如何划分的,task如何划分
6.executor内存分配
7.项目中用到前台向持久层拿数据,问从hive中拿不会慢吗,答使用sqoop传到mysql
8.hdfs的写入文件流程
9.java实现LRU
难啊难啊难.......中间磕磕绊绊,面试官小哥却很有耐心,不过估计是凉了😂
#面经##秋招##数据分析师##校招##流利说#