为什么会产生yarn，解决了什么问题，有什么优势？    简单来说，yarn是为了针对MRV1的各种缺陷提出来的资源管理框架    详细介绍如下   Hadoop 和 MRv1 简单介绍   Hadoop 集群可从单一节点（其中所有 Hadoop 实体都在同一个节点上运行）扩展到数千个节点（其中的功能分散在各个节点之间，以增加并行处理活动）。图 1 演示了一个 Hadoop 集群的高级组件。     一个 Hadoop 集群可分解为两个抽象实体：MapReduce 引擎和分布式文件系统。MapReduce 引擎能够在整个集群上执行 Map 和 Reduce 任务并报告结果，其中分布式文件系统提...

56、RangePartitioner分区的原理及特点？    原理   RangePartitioner分区则尽量保证每个分区中数据量的均匀，而且分区与分区之间是有序的，也就是说一个分区中的元素肯定都是比另一个分区内的元素小或者大；但是分区内的元素是不能保证顺序的。简单的说就是将一定范围内的数映射到某一个分区内。其原理是水塘抽样。   特点   RangePartioner尽量保证每个分区中数据量的均匀，而且分区与分区之间是有序的，一个分区中的元素肯定都是比另一个分区内的元素小或者大；但是分区内的元素是不能保证顺序的。简单的说就是将一定范围内的数映射到某一个分区内。RangePartitio...

41、cache后面能不能接其他算子，它是不是action操作？    cache可以接其他算子，但是接了算子之后，起不到缓存应有的效果，因为会重新触发cache   cache不是action操作   42、reduceByKey是不是action？   不是，很多人都会以为是action，reduce rdd是action   43、RDD通过Linage（记录数据更新）的方式为何很高效？    1）lazy记录了数据的来源，RDD是不可变的，且是lazy级别的，且RDD之间构成了链条，lazy是弹性的基石。由于RDD不可变，所以每次操作就产生新的rdd，不存在全局修改的问题，控制难度下降...

35、Spark技术栈有哪些组件，每个组件都有什么功能，适合什么应用场景？    可以画一个这样的技术栈图先，然后分别解释下每个组件的功能和场景    1）Spark core：是其它组件的基础，spark的内核，主要包含：有向循环图、RDD、Lingage、Cache、broadcast等，并封装了底层通讯框架，是Spark的基础。    2）Spark Streaming：是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kafka、Flume、Twitter、Zero和TCP 套接字）进行类似Map、Reduce和Join等复杂操作，将流式计算分解成一系列短小的批...

26、如何从Kafka中获取数据？    1）基于Receiver的方式     这种方式使用Receiver来获取数据。Receiver是使用Kafka的高层次Consumer API来实现的。receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的，然后Spark Streaming启动的job会去处理那些数据。    2）基于Direct的方式    这种新的不基于Receiver的直接方式，是在Spark 1.3中引入的，从而能够确保更加健壮的机制。替代掉使用Receiver来接收数据后，这种方式会周期性地查询Kafka，来获得每个topic+parti...

21、spark.storage.memoryFraction参数的含义,实际生产中如何调优？（☆☆☆☆☆）    1）用于设置RDD持久化数据在Executor内存中能占的比例，默认是0.6,，默认Executor 60%的内存，可以用来保存持久化的RDD数据。根据你选择的不同的持久化策略，如果内存不够时，可能数据就不会持久化，或者数据会写入磁盘   2）如果持久化操作比较多，可以提高spark.storage.memoryFraction参数，使得更多的持久化数据保存在内存中，提高数据的读取性能，如果shuffle的操作比较多，有很多的数据读写操作到JVM中，那么应该调小一点，节约出更多的...

10、Spark的数据本地性有哪几种？（☆☆☆☆☆）   Spark中的数据本地性有三种：    1）PROCESS_LOCAL是指读取缓存在本地节点的数据    2）NODE_LOCAL是指读取本地节点硬盘数据    3）ANY是指读取非本地节点数据    通常读取数据PROCESS_LOCAL>NODE_LOCAL>ANY，尽量使数据以PROCESS_LOCAL或NODE_LOCAL方式读取。其中PROCESS_LOCAL还和cache有关，如果RDD经常用的话将该RDD cache到内存中，注意，由于cache是lazy的，所以必须通过一个action的触发，才能真正的将该R...

1、spark的有几种部署模式，每种模式特点？（☆☆☆☆☆）   本地模式    Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。将Spark应用以多线程的方式直接运行在本地，一般都是为了方便调试，本地模式分三类        local：只启动一个executor        local[k]：启动k个executor        local[*]：启动跟cpu数目相同的 executor   standalone模式    分布式部署集群，自带完整的服务，资源管理和任务监控是Spark自己监控，这个模式也是其他模式的基础。   Spark on yarn模...

大数据面试题🉑🉑🉑，一早上读者就报喜了，四天从面试到发offer，恭喜b站选手

第一次听说牛客，是当时研一从一个研三师兄处听到的，后续这个师兄去了鹅厂，那时是17年。   师兄说应届生想要面试时占优，除了理论（俗称八股）面试要准备好，刷题必不可少，一定要去牛客上多刷题，还有剑指offer，刷个几百道，然后重复刷。   当年秋招时，在牛客也刷了些题，不过不多，勉勉强强吧。   秋招过后，基本上就比较少再来牛客了，直到上次牛客的一个活动：牛客4月创作营，然后又开始在牛客发一些帖子，分享一些自己的一些学习经验。   现在来牛客最主要的就是从牛客的大数据面经中整理大数据面试题，今年5月1日后，大数据面试题V3.0已经整理完了，所有题目都是来自于牛客的大数据面经      来自于上...

1、 HBase的特点是什么？   1）大：一个表可以有数十亿行，上百万列   2）无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列   3）面向列：面向列（族）的存储和权限控制，列（族）独立检索   4）稀疏：空（null）列并不占用存储空间，表可以设计的非常稀疏   5）数据多版本：每个单元中的数据可以有多个版本，默认情况下版本号自动分配，是单元格插入时的时间戳   6）数据类型单一：Hbase中的数据都是字符串，没有类型   2、HBase和Hive的区别？         hbase   Hive       类型   列式数...