总结了十一前一批面经的题目和答案 #面经#

欢迎私信我获取更多面经知识！!ORC 和 Parquet 文件格式的优劣势和区别？ORC（Optimized Row Columnar）和Parquet都是列式存储格式，它们在大数据处理领域，特别是在Hadoop和Spark生态系统中，被广泛使用。以下是ORC和Parquet的主要优劣势及其之间的区别：设计背景：ORC：主要为Hadoop生态系统中的Hive而设计。Parquet：是由Apache Arrow项目的一部分，与Cloudera和Twitter合作开发的，因此它更多地被设计为跨多个数据处理工具的通用格式，如Spark、Impala、Hive、Presto等。压缩和性能：ORC：通常...

课代表来了：https://www.nowcoder.com/discuss/535583222650900480?sourceSSR=users

接口和抽象类的区别？接口是一种完全抽象的类，它只定义了方法的签名，而不提供方法的实现。一个类可以实现多个接口。抽象类是一个类，它可以包含抽象方法（没有实现的方法）和已经实现的方法。一个类只能继承一个抽象类。final关键字是什么？ final关键字可以应用于类、方法和变量。当应用于类时，表示该类不可被继承。当应用于方法时，表示该方法不可被子类重写。当应用于变量时，表示该变量是一个常量，只能被赋值一次，之后不可修改。Flink checkpoint 是什么？ Flink checkpoint 是一种分布式快照机制，用于确保流处理应用程序的容错性。它定期保存应用程序的状态信息，包括数据流的位置和状...

Hdfs读写流程Hadoop Distributed File System（HDFS）是 Apache Hadoop 生态系统的一部分，用于存储大规模数据的分布式文件系统。HDFS 的读写流程包括以下步骤：HDFS 写入流程：客户端请求： 当一个应用程序需要将数据存储到 HDFS 中时，首先由客户端发送写请求。数据划分： 要写入的数据被划分成一系列数据块（通常是128MB 或256MB）。这些数据块会被分布式存储在 HDFS 集群中的不同节点上。选择 DataNode： HDFS 的 NameNode 被用于维护文件系统的元数据信息，它记录了每个数据块存储在哪个 DataNode 上。客户端...

讲一下 JVM 的垃圾回收的相关概念？Java虚拟机（JVM）的垃圾回收（Garbage Collection，GC）是Java内存管理的一个重要部分，它负责自动化地管理Java程序的内存，通过识别和回收不再使用的对象来释放内存。垃圾回收器在程序运行时进行，尽管开发者无法直接控制其精确的运行时间，但可以通过编写“内存友好”的代码以及调整JVM配置参数来影响其行为。以下是关于JVM垃圾回收的一些基本概念：对象的生命周期：Java对象的生命周期开始于创建（当使用new关键字时）并在不再有引用指向它们时结束。如果一个对象不再被引用，那么它就可能被垃圾回收。堆（Heap）内存：Java对象存储在堆内存...

Spark RDD宽窄依赖在Spark中，对RDD的转换操作可以分为两种依赖：宽依赖和窄依赖。窄依赖指的是每个父RDD的分区只被子RDD的单个分区使用，例如map()、filter()等操作。宽依赖则表示多个子RDD的分区可能依赖于同一个父RDD的分区，例如groupByKey()、reduceByKey()等操作。宽依赖可能导致数据的重新分区和网络传输。MySQL与HBase比较: MySQL是一个关系型数据库，适用于小到中等规模的数据，并支持复杂的SQL查询。HBase是一个非关系型的分布式数据库，适用于大规模数据存储，主要针对读写操作进行优化，不支持复杂的查询。HBase行列存储: HB...

关系型数据库与非关系型数据库的区别，并举例关系型数据库（RDBMS）关系型数据库基于关系模型，数据以表格的形式存储，每个表有其唯一的键（key）来标识每一行数据。具有一系列的操作符来操纵这些表格，可以在多个表之间进行联接操作以获取数据。特点：数据之间存在预定义的关系，例如一对一，一对多，多对多等。数据以表格形式存储，每个表有多个列，每个列对应一个属性。支持复杂的查询语句，如SQL。强调数据的一致性和完整性，支持ACID（原子性、一致性、隔离性、持久性）事务。例子：MySQLPostgreSQLOracle DatabaseMS SQL Server非关系型数据库（NoSQL）非关系型数据库不依...

怎样设计数据分层？原始数据层 ODS：此层包含从各种数据源获取的未处理的原始数据。这些数据可能来自于业务系统、日志文件、外部数据提供商等。数据在这一层通常以最原始的形式存储，没有进行任何加工处理。数据处理层 DWD：在此层，原始数据经过清洗、验证、转换等处理，以适应后续的数据分析需求。处理过程可能包括数据的格式化、空值处理、错误数据剔除、数据类型转换、数据编码等。数据聚合层 ADS：在此层，处理后的数据根据业务需求进行聚合。这可能包括事实表的创建、维度的建立、计算指标的生成等。数据在这一层通常以数据仓库模型（如星型模型或雪花模型）的形式组织。数据服务层 ：此层为最终用户提供数据访问服务。这可能...

数仓的星型模型和雪花模型是什么？星型模型（Star Schema）和雪花模型（Snowflake Schema）都是数据仓库中的数据模型。这两种模型主要用于组织和管理大量数据，并能够快速、高效地处理用户的查询请求。星型模型星型模型是一种简单的数据模型，它由一个大的“事实表”（Fact Table）和多个“维度表”（Dimension Tables）组成。事实表位于模型的中心，包含了业务过程的量化数据，如销售金额、销售数量等。维度表围绕事实表排列，每个维度表包含了对事实数据的某种视角或分类，如时间、地点、产品等。星型模型的名字来源于它的形状：一个中心表和多个外围表形成了一个星形结构。星型模型的优...

讲一下java内存区域Java的内存主要分为以下几个区域：堆（Heap）：存放对象实例的地方，包括新生代（Eden区，From Survivor区，To Survivor区）和老年代。方法区（Method Area）：存储类的结构信息如运行时常量池，字段和方法数据等。虚拟机栈（VM Stack）：存储每个线程的执行信息，包括局部变量、操作数栈、动态链接和方法退出信息。本地方法栈（Native Method Stack）：为虚拟机使用到的Native方法服务。程序计数器（Program Counter Register）：指示当前线程正在执行的字节码指令。什么情况下新建的对象不存储在eden中？...