从事数据开发，手写面试题5W字，涉及hadoop、zookeeper、kafka、spark、flink、clickhouse等常见的大数据中间件，文档可以后台踢我1、Hadoop特点hadoop是一个分布式计算平台，能够允许使用编程模型在集群上对大型数据集进行分布式处理hadoop的三大组件：HDFS（分布式文件存储平台）、MR（计算引擎）、YARN（资源调度平台）特点：高扩容：hadoop在集群键分发数据并完成数据计算，集群可以方便进行扩展节点成本低：hadoop使用链家的机器组成集群来分发和处理数据，不依赖高端成本，高效率：在集群中处理和分发数据，处理速度非常快可靠性：存储在hdfs上的...

此类问题大致分为三种情形：部门负责人面、HR面、高层领导面。一、部门负责人面【判断自己的业务能力和性格特点是否与岗位匹配度高】此时，你可以选择问：① 您认为优秀的XXX应该具备怎样的能力？（根据面试官的回答可以对自身的优势与不足有一定更准确的判断与了解，有利于明确自己后续的努力方向，避免少走弯路。）② 请问XXX岗位相关的考核指标有哪些？（进一步明晰入职后的具体工作内容与方向以及工作量，同时也表现自己对这份工作的关注程度，好感加分~）③ 请问目前这个部门的工作氛围是怎样的呢？（可以借此机会表达自己向往的工作氛围是怎样的，同时表达自己期待入职的热情。）④ 请问贵公司期望的到岗时间是怎样的呢？（对到岗时间有个大体的掌握与心理预期，同时判断公司对招人用人的急切程度等等。）二、HR面【主要了解薪资构成、部门架构、福利待遇等问题】此时，你可以选择问：① 请问XXX岗位的薪资构成是怎样的呢？（不同的公司，在同一岗位的薪资情况也是不同的，可以从底薪、绩效、项目提成、年终奖等薪资构成去提问，了解清晰各项的比例与具体构成。）② 请问贵公司在待遇福利方面有哪些呢？（常见的有餐补、租房补贴、住房补贴、交通补贴、加班费、高温补贴、年底几薪等等）③ 如果顺利入职的话，请问我的试用期是多久？是否有提前转正的机会？④ 请问贵公司的上下班时间是怎样的？周末的双休和法定节假日是怎样的机制呢？⑤ 请问这个部门的人员流动性怎么样呢？（根据人员的在岗时间和流动性，可以大体反映这个岗位的工作氛围或者工作量、工作压力等等）如果你已进入到和HR谈薪的阶段，那说明你已经基本符合了该公司该岗位的招聘要求，与HR的有效沟通是很重要的，要把握住哦，直通终面不是梦！三、高层领导面【该环节大多会沟通一些价值观和职业规划相关问题】此时，你可以选择问：① 请问XX部门/XX团队当下的重点工作是什么呢？（该问题可以了解所在部门的工作重点和工作内容与自己的职业规划是否一致或者相关性如何。）② 请问对于XXX这个岗位，你对我当下的努力方向与重点有什么建议吗？（表达自己的决心与对未来的期望，听取前辈的建议可以更好的坚定自己的道路与前进的脚步，稳中前进！）💼 公司岗位🫶️ 团队氛围💢 工作强度👨🏻‍💻 工作环境❤️ 职场感受👥 面试题目🤔 面试感受

170、clickhouse介绍以及架构clickhouse一个分布式列式存储数据库，主要用于在线分析查询171、列式存储和行式存储有什么区别？行式存储：  1、数据是按行存储的  2、没有建立索引的查询消耗很大的IO  3、建立索引和视图花费一定的物理空间和时间资源  4、面对大量的查询，复杂的复杂的数据库必须使用大量性能才能满足  列式存储：  1、数据按列存储，每一列单独存放  2、只访问查询设计的列，大量降低系统的IO  3、数据类型一致，数据特征相似就可以高效的压缩  优势：  分析场景中往往需要读大量行但是少数几个列。在行式存模式下，数据按行连续存储，所有列的数据都存储在一个blo...

148、flink架构flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算特点：高吞吐和低延迟：每秒数百万个事件，毫秒级延迟结果的准确性：提供了事件时间和处理时间语义，提供结果的一致性精确一次的状态的一致性保证jobmanager包含三个组件：jobmaster：是jobmanager中最核心的组件，负责处理单独的job，jobmaster和具体的job是一一对应的resourceManager：负责资源的分配和管理，所谓的资源，只要是指taskmanager的任务槽，任务槽就是flink集群中的资源调配单元，包含了机器用来执行计算的一组cpu和内存资源分发器（Dispa...

众所周知，mysql的数据文件是保存在磁盘上的，但中间的数据具体保存在哪个文件夹下面呢？其实不然，了解过数据库索引的小伙伴都知道，mysql中有不同种类的索引，哪这些索引与mysql存储数据又有什么关系？今天就解决这个问题一、mysql数据存放在哪？在本地mysql中建了leetcode库，中间创建了实例表t_order，具体如下图所示：在存储表数据的目录中会出现如下的文件：其中：db.opt：存储了当前数据库的默认字符集和字符校验规则t_order.frm：存储了表结构，在mysql的InnoDB引擎规则下，新建一张表，就会生成一个以表名开头，以.frm结尾的文件；t_order.ibd：会...

这个命令，熟悉linux操作系统的小伙伴应该不会陌生吧，有一次删文件，本来是想着删除某一个文件夹下的所有文件，所以加*，标识所有，没想到 直接把根目录下的文件全删了，还是加了参数 -rf，这不是要我的命吗，100封离职报告信也不够哇，后来只得老经验很重新恢复机器，最后还好没事，东西都有备份。至此以后，这些相关命令，是再也不敢用了，奉劝一句，多用cp命令，少用mv，这句话运维人员应该不会陌生，

运维工程师应该都懂 rm -rf * 的含金量吧 不用多说了，记得有一次捣鼓公司的物理机，直接rm -rf *，整个人都是麻的，提示用户不存在，密码不正确，目录全没了，以为重启大法好，没想到重启找不到系统......，奉劝大家还是小心点为上，不然公司是会追责的（哪怕你是last day）

115、Spark的任务执行流程driver和executor，结构式一主多从模式，driver：spark的驱动节点，用于执行spark任务中的main方法，负责实际代码的执行工作；主要负责：将代码逻辑转换为任务、在executor之间调度任务、跟踪executor的执行情况。Executor：spark的执行节点，是jvm的一个进程，负责在spark作业中运行具体的任务，任务之间相互独立，spark应用启动时候，executor节点被同时启动，伴随整个spark应用的生命周期而存在；主要功能：负责运行组成spark应用的任务，并将结果返回给驱动进程、在任务提交之后，都先启动driver，然...

83、介绍下Kafka，Kafka的作用?Kafka的组件?适用场景?kafka是一个高吞吐量、可扩展的分布式消息传递系统，在处理实时流式数据，并能够保证持久性和容错性可用于数据管道、流分析和数据继承和关键任务应用（发布/订阅模式）发布/订阅模式：可以有多个topic主题、消费者消费数据之后，不删除数据、每个消费者相互独立，都可以消费数据84、Kafka作为消息队列，它可解决什么样的问题?异步：允许用户把一个消息放入队列，但并不立即处理他们，需要的时候再去处理消峰：有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况解耦：允许独立扩展或者修改两边的处理过程，只要确...

54、说下为什么要使用Hive?Hive的优缺点?Hive的作用是什么?hive是hadoop生态系统中不可或缺的工具，提供一种类SQL语言，可以查询存储在hadoop分布式文件系统中的数据或者其他hadoop集成的文件系统hive降低了将这些应用程序转移到hadoop系统上的难度优点：类sql开发，快速开发；避免了去写MR程序的难度；执行延迟较高，常用作数据分析；处理大型数据集；自定义用户函数缺点：HQL表达能力有限；hive的效率较低；hive的本质是将HQL转换为MR程序55、数仓和Hive的关系？数据仓库更加注重数据的存储、查询和管理；而hive主要用于分析查询56、hive架构1、用...

79、介绍下Flume以及架构是一个开源的日志系统，是一个分布式。可靠性和高可用的海量日志聚合系统，支持在系统中定制各类数据发送方，用于收集数据Agent：是一个jvm进程，他以时间的形式将数据从源头送至目的地、Agent 主要有 3 个部分组成，Source、Channel、Sink。Source：负责接收数据到flume的agent的组件，可以处理avro、thrift、exec、jms....一系列日志类型Sink：sink不断轮询channel中的事件并且批量地移除他们，写入到存储系统或者另一个flume agentchannel：是位于source和sink之间的缓冲区，有基于文件的...

47、zookeeper是什么？主要服务于分布式系统，可用来做统一配置管理、统一命令服务、分布式锁、集群管理等48、zookeeper的作用以及适用场景？数据的发布订阅：由于大数据集群中节点过多，不可逐台进行修改，在设计时候采用统一的配置中心，之后只需要将新的配置发送到配置中心，所有节点都可自动下载更新命名服务：zk通过顺序节点的特性来生成全局唯一IDMaster选举：让所有服务节点去竞争性地创建用一个ZNode，必然只有一个服务节点能够创建成功分布式锁：集群管理：事务操作：49、Zookeeper的选举策略，leader和follower的区别?在zk集群启动时候，需要确定一台leader服...

45、介绍yarn是一个集群资源管理器，主要由两个组件：RM和NMRM：负责整个集群的资源管理和调度，接收来自客户端程序提交的请求，根据资源进行分配，也负责监控集群中的资源使用情况NM：每个节点上运行运行一个NM，负责管理该节点上的资源，接收来自RM的指令，分配或者释放资源46、yarn工作流程1、用户通过客户端向RM提交应用程序2、RM根据可用资源和调度策略，为应用程序分配所需的资源3、每个节点上的NM接收来自RM的任务分配，并在该节点上启动和管理任务的执行4、RM和NM定期报告资源使用清除那个和任务状态46、YARN有几个模块1、RM2、NM3、ApplicationMaster：每个应用...

## 15、介绍下HDFS，说下HDFS优缺点，以及使用场景？HDFS（hadoop distributed file system）优点高容错：将文件分为多个块，可以在多个节点上进行复制存储，当节点发生故障时，可以自动恢复数据高吞吐：并行处理数据块，较高的读写速度，高效进行批处理操作适应大文件存储：将文件划分为多个小块，分布在各个节点上，适合大文件存储和处理缺点：高延迟数据访问不适合小文件存储：对小文件的存储不够高效，浪费存储空间和元数据开销使用场景：大规模数据存储和计算、日志分析## 16、HDFS作用存储大规模数据集、数据的冗余和备份、高吞吐的数据访问、故障监测和恢复## 17、HDFS有哪些容错机制数据冗余和备份：将一个文件划分为多个块存储到各个节点上并做副本备份，当某一个节点出问题的时候，其他节点数据依然可用心跳机制：DN会定时向NN发送心跳信号，确保依然在工作，如果NN在某一时间段内未接收到DN的信号，则标记该DN不可用副本恢复：当某一节点发生故障时候，HDFS会自动启用副本恢复机制，将该节点上的块副本复制到其他可用的数据节点上，保证数据的完整新容错检测和恢复：HDFS会定期监测节点和块的完整性，并自动修复损坏的块## 18、HDFS的副本机制冗余存储：会将每个块的副本存储在不同数据节点上，默认的将每个块的副本数设置为3数据本地性：副本机制会尽量将数据存储在离计算节点比较近的节点上，减少网络传输副本同步：某个节点故障或者新增节点，HDFS会自动将副本从其他节点复制到新的节点上，保持副本数量和位置平衡## 19、HDFS的常见数据格式，列式存储格式和行存储格式异同点，列式存储优点有哪些?HDFS中常见的数据格式：文本文件、序列文件、Avro文件、Parquet文件、ORC文件按行存储：数据按行进行存储，一行的所有值都连续存储按列存储：数据按列进行存储，同一列的数据连续存储列示存储优点：压缩率高：由于列示存储同一列的数据类型相同，可以采用更高效的算法进行压缩，减少存储空间查询性能优异：对于特定查询需求的列，只需要读取该列的数据，提高查询性能更好的数据压缩和解压缩效率：列式存储格式在读取时候只需要解压缩需要的列数据，效率更高## 20、HDFS如何保证数据不丢失（HDFS如何保证数据一致性、保证数据安全）数据副本机制：多个副本保存在不同节点上，可从副本中恢复心跳监测：DN周期性的向NN发送心跳信号，确保还在工作状态，若长时间没有心跳信号，则NN将该故障DN山上的数据副本复制到其他节点上数据完整性校验：客户端写入数据的时候，会计算数据块的校验和，将其存储在NN上，当读取数据的时候，使用检验和检验数据是否完整容错机制：在节点故障或者网络问题时候，数据能保持一致性和可用性## 21、HDFS NN高可用如何实现？HDFS高可用机制使用了一个Active-StandBy架构，当其中一个NN处于活动状态时候，另一个NN处于备用状态；需要Active NameNode、Standby NameNode、JournalNode、ZooKeeper；JournalNode用于存储NN的编辑日志，确保在NN切换时候的数据一致性。Zookeeper用于监控和管理活动和备用NN之间的切换；## 22、HDFS的mapper和reducer的个数如何确定?reducer的个数依据是什么?1、Mapper的个数由输入数据的分片数决定，hdfs将数据文件划分为多个块，每一个块由一个mapper进行处理2、在确定reducer个数时候，需要考虑集群中的硬件资源，一般来说reducer个数不超过集群中可用计算节点数3、对于计算密集型任务，可以增加reduer的个数提高计算速度，对于IO密集型的任务，增加mapper的个数加快数据处理速度reduce个数可以由程序员自行设定，也决定了输出文件的个数；设置的数量范围为：（0.95——1.75）* 节点数量*每个节点上最大的容器数## 23、HDFS中向DN中写入数据失败怎么办？## 24、HDFS中DN怎么存储数据的？1、客户端向NN发起写请求，将需要写入的文件名、文件大小等信息告诉NN。2、NN将文件进行划分，记录数据块的副本位置信息并返回给客户端3、客户端根据副本位置信息，将数据块发送给对应的DN4、DN接收到数据块后，将数据块存储在本地磁盘上，5、DN写入数据的时候，先写入一个临时文件，一旦数据块写入完成，则转变为永久存储文件6、DN会定时向NN报告存储的数据块信息## 补充：HDFS读文件过程1、客户端访问NN，查询元数据信息，获得这个文件的数据块位置列表，返回输入流对象2、就近挑选一台DN服务器，请求建立输入流3、DN向输入流中写数据，以packet为单位来校验4、关闭输入流## 补充：300m，切片大小是128m，切几片第一片：0-128M，第二片：128-256M，第三片：256-300M每次切片的时候，都要判断切完剩下的部分是否大于块的1.1倍，大于时候，继续按照规定切块，小于1.1倍时候，将剩下的文件大小归到一个切片上去

25、MR工作原理Input Spliting：输入的数据被拆分成更小数据块（Input Splits：将大文件切割成适合并行处理的小块数据，每个小块数据称为一个分片，一个分片作为MR处理的基本单元）Mapping：mapper节点将分配到数据块执行map操作，产生中间结果（k,v）键值对并写入到本地磁盘Shuffling and Sorting：Mapper节点会根据Key进行排序，并将相同Key的Value聚合起来。Reducing：Reducer节点接收到所有属于自己哈希范围内键值对后开始执行reduce操作，生成最终结果。补充：1、获取待处理文件大小；2、根据block大小，划分数据块...