从事数据开发，手写面试题5W字，涉及hadoop、zookeeper、kafka、spark、flink、clickhouse等常见的大数据中间件，文档可以后台踢我1、Hadoop特点hadoop是一个分布式计算平台，能够允许使用编程模型在集群上对大型数据集进行分布式处理hadoop的三大组件：HDFS（分布式文件存储平台）、MR（计算引擎）、YARN（资源调度平台）特点：高扩容：hadoop在集群键分发数据并完成数据计算，集群可以方便进行扩展节点成本低：hadoop使用链家的机器组成集群来分发和处理数据，不依赖高端成本，高效率：在集群中处理和分发数据，处理速度非常快可靠性：存储在hdfs上的数据文件，一般有多个备份，保证数据的可靠性2、说下Hadoop生态圈组件及其作用hive（离线数据仓库）：基于hdfs，结合类SQL引擎，底层执行MR任务，用于OLAP分析查询的数据仓库。zookeeper（管理员）： 分布式协调服务。就是为用户的分布式应用程序提供协调服务，如：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务等等。kafka（消息通信中间件）flume（日志传输组件）：是一个分布式可靠的高可用的海量日志收集、聚合、移动的工具，通俗来说flume就是一个日志采集工具spark（批处理计算框架）：是一个快速的，通用的集群计算系统。flink（流处理计算框架）3、Hadoop主要分哪几个部分?他们有什么作用?HDFS：高容错、高可靠性、高可扩展性、高吞吐率的分布式文件存储系统，负责海量数据的存储YARN：资源管理调度系统，负责hadoop生态系统中任务的调度和监控MR：基于HDFS、YARN的分布式并行计算框架，负责海量数据的计算4、Hadoop集群工作时启动哪些进程?它们有什么作用?NN：是hadoop中的主服务器，管理文件系统名称空间和对集群中存储的文件访问，这些元数据信息是存储在内存中的，也可以持久化到磁盘上。并且可以管理DNSNN：不是NN的冗余守护进程，而是提供周期性检查点和清理任务，帮助NN合并editslog，减少NN的启动时间（并不是NN的备用节点）fsimage - 它是在NameNode启动时对整个文件系统的快照edit logs - 它是在NameNode启动后，对文件系统的改动序列只有NN重启的时候，editlogs才会合并到fsimage文件中，得到一个文件系统的最新快照，但是在NN工作很久以后，editlogs文件变得很大。导致NN的重启会花费很长时间，此时SNN的职责就是帮助editlogs合并到fsimage文件中。定时去获取NN去获取editlogs，并更新到自己的fsimage上，一旦有了新的fsimage，它将拷贝回NN中DN：提供真实的文件数据的存储服务，以数据的形式存储HDFS文件，相应HDFS客户端的读写请求，周期性地向NN汇报心跳信息、数据块信息、缓存数据块信息RM：负责整个集群资源的管理和调度，功能包括对ApplicationMaster的管理、NM的管理、Application管理等，负责整个集群中所有资源的统一管理和分配，并且接受来自各个节点的资源汇报信息；NM：主要处理来自RM分配的任务，监测并且报告Container使用信息给RMJN：两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控edit log的变化，把变化应用于自己的命名空间。standby可以确保在集群出错时，命名空间状态已经完全同步了。5、在集群计算的时候，什么是集群的主要瓶颈网络带宽：集群中节点通常通过网络进行数据传输和通信，网络带宽不足，会导致数据传输速度慢，影响整个集群计算性能存储性能：如果存储系统的读写能力较低，会影响数据的读取和写入速度，降低整个集群的计算效率处理能力：集群中的节点数据量和节点的计算能力都会影响整体的计算能力，集群规模较小或者节点的计算能力较低，无法满足大规模数据处理的需求内存容量：进行大规模数据分析和处理，需要大量的内存资源来存储和操作数据，若节点的内存不足，会导致数据无法完全加载到内存中，影响性能数据倾斜：由于数据分布不均匀，导致某些节点的数据负载过重，从而使得这些节点成为整个集群的瓶颈（解决数据倾斜方法后续详谈）6、搭建Hadoop集群的xml文件有哪些?core-site.xml：配置Hadoop的核心参数，如文件系统默认方案、HDFS地址等。hdfs-site.xml：配置HDFS的相关参数，如副本数量、数据块大小等。mapred-site.xml：配置MapReduce相关参数，如作业跟踪器地址、任务分配器等。yarn-site.xml：配置YARN相关参数，如资源管理器地址、节点管理器等。hive-site.xml：如果需要使用Hive，则需要配置Hive的相关参数，如元数据存储位置、数据库连接等。7、Hadoop的Checkpoint流程？该流程是指在集群中，将正在运行的任务的状态信息和元数据信息保存在持久化存储中，以便在集群发生故障时候能够及时恢复任务；若不适用HA，hadoop的checkpoint机制就是主节点的元数据备份机制，通过SN，每隔一段时间将NN的元数据更新并备份，然后返回给fsimage和NN，SNN会每隔默认60分钟，都会通知更新日志信息edits，以便后续元数据备份操作；元数据是保存在内存当中的，这样容易丢失，NN的工作量巨大，管理众多DN，还要更新操作日志文件edits，还要将元数据信息序列化到本地，所以SNN就会开始代替NN完成元数据的保存工作流程如下：1、当一个任务开始执行时，Hadoop会周期性地将任务地状态信息和元数据信息写入到Checkpoint目录中。这些信息包括任务的进度、输入数据的位置、已经完成的工作等。2、Checkpoint目录通常位于分布式文件系统（如HDFS）中，以保证数据的安全性和可靠性。3、Hadoop还会在内存中保存一个Checkpoint ID，用于标识当前的Checkpoint。4、在任务执行过程中，如果集群发生故障或节点失效，任务会停止执行。5、当集群恢复正常后，Hadoop会检查Checkpoint目录中的状态信息和元数据信息，并根据Checkpoint ID找到最新的Checkpoint。6、Hadoop会使用Checkpoint中的信息来恢复任务的执行状态，包括任务的进度、输入数据的位置等。7、任务恢复完成后，Hadoop会继续执行任务，并从上次Checkpoint的位置继续处理数据，以确保不会重复执行已经完成的工作。