携程 大数据底层框架开发 面经回顾

去年秋招拿了携程-大数据底层框架开发岗位的offer，想着还是把面试回顾下吧，给后面的朋友一个参考。

这个岗位是做大数据组件底层二次开发的，我面试的是偏向离线方面，因此面试都是围绕hadoop、spark、hbase、hive这几个组件的底层原理去问，因为是偏向底层，所以也会注重java语言和多线程并发的知识。

1. HDFS的写入流程？如果一台机器宕机，HDFS怎么保证数据的一致性？如果只存活一台机器又会发生什么情况？
2. NameNode HA的实现原理？如何避免NameNode脑裂的情况？
3. 如果数据量比较大，如何解决NameNode 的内存瓶颈？
4. MapReduce Shuffle中Reduce是怎么获得Map输出的分区文件，Map主动推还是Reduce主动拉？
5. Kafka如何实现顺序消费？
6. Spark Streaming消费Kafka的两种方式比较。如何提高Spark Streaming消费Kafka的并行度？
7. 如何保证Spark Streaming的精准一次性消费？
8. 项目中Spark Streaming消费Kakfa的offset保存在哪里？为什么不采用checkpoint保存offset，有什么缺点？
9. 对Spark RDD的理解。
10. Spark作业运行流程？（从standalone和yarn两种模式进行阐述）
11. 项目中Spark采用的那种模式搭建的？为什么采用standalone而不采用yarn模式？
12. 为什么Spark Shuffle比MapReduce Shuffle快（至少说出4个理由）？
13. Spark3新特性
14. Java中保证线程安全的方法有哪些？
15. 一个volatile修饰的变量，如果两个线程同时去写这个变量，线程安全吗？如果不安全该怎么使他变得安全？
16. Linux中怎么查看一个进程打开了哪些文件？
17. 算法题：二叉树非递归中序遍历

这是三轮技术面里面能回忆起来的了，先暂时写这些吧