欢迎私信我获取更多面经知识！!ORC 和 Parquet 文件格式的优劣势和区别？ORC（Optimized Row Columnar）和Parquet都是列式存储格式，它们在大数据处理领域，特别是在Hadoop和Spark生态系统中，被广泛使用。以下是ORC和Parquet的主要优劣势及其之间的区别：设计背景：ORC：主要为Hadoop生态系统中的Hive而设计。Parquet：是由Apache Arrow项目的一部分，与Cloudera和Twitter合作开发的，因此它更多地被设计为跨多个数据处理工具的通用格式，如Spark、Impala、Hive、Presto等。压缩和性能：ORC：通常提供更好的压缩率，这是因为它使用了轻量级的压缩算法如Zlib或SNAPPY。由于其高效的压缩和编码技术，ORC通常在读取操作上更快。Parquet：虽然它也提供了良好的压缩，但与ORC相比，压缩率可能略低。但在某些查询操作上，特别是与Spark集成时，Parquet可能提供更好的性能。模式演进：ORC：支持模式演进，这意味着你可以在不破坏现有数据的情况下添加、删除或修改列。Parquet：也支持模式演进，但处理方式可能与ORC略有不同。兼容性：ORC：虽然它是为Hive设计的，但也可以在其他工具中使用，如Presto和Spark。但在非Hive环境中，可能需要额外的配置或转换。Parquet：由于其跨平台的设计，它在多个数据处理工具中都有很好的支持，这使得它在多种环境中都能很好地工作。语言支持：ORC：主要支持Java，但也有C++和Python的实现。Parquet：有Java、C++和Python的库，因此它在多种语言环境中都有很好的支持。索引：ORC：内置了轻量级的索引，这有助于提高查询性能。Parquet：没有内置的索引，但其列式存储的特性使得它在某些查询操作上仍然很快。总结：选择ORC还是Parquet很大程度上取决于你的使用场景和所使用的数据处理工具。如果你主要在Hive环境中工作，ORC可能是更好的选择。但如果你在多个工具之间切换，或者主要使用Spark，那么Parquet可能更合适。Kafka 中 Zookeeper 的作用？在Kafka中，Zookeeper的主要作用如下：元数据存储：Zookeeper存储了关于Kafka集群的元数据，例如broker节点信息、主题和分区信息等。控制器选举：在Kafka集群中，有一个特殊的broker称为“控制器”（Controller），它负责管理分区和副本的领导者选举。当当前的控制器失效时，Zookeeper会帮助选举一个新的控制器。领导者选举：对于Kafka的每个分区，都有一个领导者（Leader）和多个追随者（Follower）。领导者负责处理数据的读写请求，而追随者则复制领导者的数据。当领导者失效时，Zookeeper协助从追随者中选举一个新的领导者。集群管理：Zookeeper监控broker节点的存活状态，并在节点加入或离开集群时进行通知。配置管理：Zookeeper存储了关于主题的配置信息，例如分区数量、副本数量等。分布式同步：Zookeeper帮助Kafka broker节点在分布式环境中进行同步。客户端信息：Zookeeper存储了消费者的偏移量信息，这样消费者可以知道下一次从哪里开始读取数据。不过，新版本的Kafka建议将这些信息存储在Kafka主题中，而不是Zookeeper。需要注意的是，尽管Zookeeper在Kafka中扮演了关键角色，但Kafka团队已经在努力减少对Zookeeper的依赖，并计划在未来的版本中完全移除它。Flume 的基本原理是什么？ Flume是一个分布式、可靠且可用的大数据日志采集、聚合和传输系统。其基本原理如下：组件结构：Source：负责接收外部数据。例如，它可以从web服务器日志、系统日志或其他数据源中收集数据。Channel：临时存储从Source接收到的数据，等待Sink来取走。常见的Channel实现有Memory Channel（内存中存储）和File Channel（文件系统中存储）。Sink：从Channel中取走数据并将其推送到外部存储或下一个Flume Agent。例如，它可以将数据写入HDFS、Kafka或其他数据存储系统。数据流：数据从Source流入Channel，然后从Channel流向Sink。在这个过程中，数据可以经过多个Flume Agent，形成一个数据流链。事件驱动：Flume中的数据单元称为“事件”（Event）。每个事件通常包含时间戳、头部信息和数据负载。可靠性：Flume提供了事务支持，确保数据从Source到Sink的传输是可靠的。如果Sink写入失败，数据会留在Channel中，等待再次尝试。拦截器：在数据从Source到Channel的过程中，可以配置拦截器（Interceptor）对事件进行处理，例如过滤、修改或增加额外的头部信息。多Agent流：Flume支持多个Agent之间的数据流，这意味着数据可以从一个Agent的Sink传输到另一个Agent的Source，形成一个复杂的数据流网络。扩展性：Flume设计为可扩展的，可以轻松地添加更多的Source、Channel或Sink，以满足不断增长的数据流需求。插件化：Flume的架构支持插件，这意味着你可以为其添加自定义的Source、Channel、Sink或Interceptor。总之，Flume的基本原理是通过其组件（Source、Channel和Sink）在分布式环境中可靠地传输日志和事件数据。请解释 MVCC 是什么？ MVCC是“多版本并发控制”（Multi-Version Concurrency Control）的缩写。它是数据库管理系统中用于同时处理多个事务的技术，其主要目的是提供高并发性能，同时保持数据的一致性和隔离性。以下是MVCC的主要特点和工作原理：多版本：当用户开始更新数据时，而不是直接覆盖旧数据，MVCC会为该数据创建一个新版本。这意味着在同一时间，数据库中可能存在同一数据项的多个版本。读操作不阻塞写操作：由于存在多个版本的数据，读取操作可以直接读取旧版本的数据，而不需要等待写操作完成。这大大增加了并发读取的性能。写操作不阻塞读操作：同样地，当数据被写入时，读取操作可以继续读取旧版本的数据，不会被写操作阻塞。事务隔离：每个事务都看到一个“快照”版本的数据库，并在这个快照上进行操作。这确保了事务的隔离性，即一个事务的更改在提交之前对其他事务是不可见的。垃圾回收：随着时间的推移，某些旧版本的数据可能不再被任何事务引用。这些不再需要的版本可以通过垃圾回收机制被清除，以释放存储空间。冲突检测：如果两个并发事务试图修改同一数据项，MVCC会在提交时检测到这种冲突。通常，第一个提交的事务会成功，而后提交的事务会收到一个冲突错误，并可能需要重试。总的来说，MVCC通过为数据项维护多个版本来提供高并发性能，同时确保事务的一致性和隔离性。这种方法特别适合读密集的工作负载，因为读操作不会被写操作阻塞，反之亦然。进程和线程的区别？哪个开销比较小？进程和线程都是操作系统中用于执行程序和任务的基本单位，但它们之间存在一些关键的区别：定义：进程：是一个独立的执行实体，拥有自己的私有地址空间。每个进程都有自己的一套系统资源（如文件句柄、CPU时间片和内存空间）。线程：是进程内的一个执行单元。同一个进程中的所有线程共享该进程的地址空间和系统资源。资源开销：进程：由于每个进程都有自己的地址空间和一套系统资源，所以创建、维护和切换进程的开销相对较大。线程：线程的创建、维护和切换的开销相对较小，因为它们共享同一进程的资源。通信：进程：进程之间通常通过进程间通信（IPC）机制（如管道、消息队列、信号量等）来通信，这通常比较复杂且开销较大。线程：由于线程共享同一地址空间，它们可以直接访问共享变量或使用轻量级的同步机制（如互斥锁、条件变量等）来通信。隔离性：进程：进程之间是彼此隔离的，一个进程的崩溃不会影响其他进程。线程：同一进程中的线程是紧密相关的，一个线程的错误（如访问无效的内存）可能会影响到其他线程或整个进程。生命周期：进程：通常有独立的生命周期，从创建到终止。线程：线程的生命周期通常依赖于其所属的进程。当进程终止时，其所有线程也会被终止。上下文切换：进程：进程上下文切换涉及更多的CPU寄存器和内存映射，因此开销较大。线程：线程上下文切换只涉及少量的CPU寄存器和程序计数器，因此开销较小。综上所述，线程的开销比进程小。但选择使用进程还是线程取决于具体的应用需求，如资源隔离、并发性能、通信复杂性等因素。tcp和udp区别？TCP（传输控制协议）和UDP（用户数据报协议）都是传输层的协议，用于数据的发送和接收，但它们之间存在一些关键的区别：连接性：TCP：是面向连接的协议。在数据传输之前，需要建立一个连接，数据传输完成后再终止该连接。UDP：是无连接的协议。它只是发送数据，而不预先建立连接。可靠性：TCP：提供可靠的数据传输。它确保数据包按序到达，并检查是否有任何丢失或错误的数据包。如果有，TCP会重新发送这些数据包。UDP：不保证可靠性。它只是发送数据包，不进行确认或重传。因此，数据包可能会丢失、乱序或重复。速度：TCP：由于其确认和错误恢复机制，通常比UDP慢。UDP：由于没有确认和错误恢复机制，通常比TCP快。头部开销：TCP：头部开销较大，至少需要20字节。UDP：头部开销较小，只需要8字节。用途：TCP：适用于需要可靠数据传输的应用，如Web浏览、文件传输、电子邮件等。UDP：适用于速度和效率更为关键的应用，或者应用可以容忍一些数据丢失，如视频流、在线游戏、VoIP等。流控制：TCP：有内置的流控制机制，可以避免发送方溢出接收方的缓冲区。UDP：没有内置的流控制，发送方可以以任何速度发送数据。拥塞控制：TCP：有拥塞控制机制，可以根据网络的状态调整数据的发送速率。UDP：没有拥塞控制，总是以恒定的速率发送数据，不考虑网络的状态。结束连接：TCP：有一个终止连接的过程，涉及到四次握手。UDP：由于是无连接的，所以没有结束连接的过程。总的来说，TCP是一个可靠、面向连接的协议，适用于需要确保数据完整性和顺序的应用；而UDP是一个不可靠、无连接的协议，适用于速度和效率更为关键的应用。Redis 一般在什么场景里使用？ Redis是一个开源的、内存中的数据结构存储系统，可以用作数据库、缓存和消息代理。由于其高性能和灵活的数据结构，Redis在多种场景中都得到了广泛的应用：缓存：这是Redis最常见的使用场景。由于Redis的高速读写性能，它经常被用作前端缓存，减少对后端数据库的访问，从而提高应用的响应速度和吞吐量。会话存储：Redis可以用来存储Web应用的会话信息，如用户登录状态、个性化设置等。消息队列：使用Redis的发布/订阅和列表数据结构，可以实现消息队列和任务队列的功能，支持异步处理和任务调度。排行榜和计数器：使用Redis的有序集合（Sorted Set），可以轻松实现排行榜功能。同时，Redis的原子增减操作使其成为实现计数器的理想选择。实时分析：由于Redis的高速性能，它可以用于实时分析，如统计网站访问量、点击流分析等。地理空间索引：使用Redis的地理空间数据结构，可以实现地理位置相关的功能，如查找附近的地点。数据过期：Redis支持设置数据的过期时间，这使得它非常适合实现临时数据存储、缓存过期等功能。分布式锁：使用Redis的原子操作，可以实现分布式锁，支持跨多个节点的同步。实时推送系统：使用Redis的发布/订阅功能，可以实现实时的消息推送和通知系统。图形和社交网络功能：使用Redis的各种数据结构，如集合和有序集合，可以实现社交网络中的功能，如关注、点赞、共同关注者等。这些只是Redis的一些常见应用场景。由于Redis支持多种灵活的数据结构，它可以应用于许多其他场景中，满足各种复杂的数据处理需求。如何在 Hive 里删除一条记录 ？在Hive中，直接删除单条记录是不支持的，因为Hive是为大规模数据批处理设计的，而不是为单条记录的操作设计的。但是，你可以通过以下方法间接地删除一条或多条记录：使用INSERT OVERWRITE：创建一个与原表结构相同的临时表。将不想删除的记录插入到这个临时表中。使用INSERT OVERWRITE语句将临时表的数据覆盖回原表。（可选）删除临时表。例如，假设你有一个名为my_table的表，并且你想删除id=5的记录：sql:CREATE TABLE temp_table AS SELECT * FROM my_table WHERE id != 5;INSERT OVERWRITE TABLE my_table SELECT * FROM temp_table;DROP TABLE temp_table;使用分区：如果你的表是分区的，并且你想删除的记录都在一个特定的分区中，那么你可以简单地删除整个分区。sql：ALTER TABLE my_table DROP PARTITION (partition_column='value');使用ACID事务：从Hive 0.14开始，Hive支持ACID事务，这意味着你可以在某些情况下直接删除记录。但是，这需要表为ORC格式并且已经设置为事务表。如果满足这些条件，你可以使用DELETE语句：sqlDELETE FROM my_table WHERE id = 5;但是，请注意，使Hive支持ACID事务可能需要一些额外的配置，并且可能会影响性能。总的来说，虽然Hive不是为单条记录操作设计的，但通过上述方法，你仍然可以间接地删除记录。Doris与Clickhouse区别？Doris 和 ClickHouse 都是高性能的列式存储数据库，但它们有一些关键的区别。以下是 Doris 和 ClickHouse 之间的主要区别：起源和背景：Doris：最初由百度开发，名为 Palo，后来被捐赠给 Apache 基金会并更名为 Doris。它是为了满足快速的、实时的、大规模的 OLAP 分析而设计的。ClickHouse：由 Yandex 开发，是一个俄罗斯的搜索引擎和IT公司。ClickHouse 专为在线分析处理（OLAP）场景设计。架构：Doris：采用 MPP（大规模并行处理）架构，可以水平扩展，支持实时流式数据导入。ClickHouse：也是一个 MPP 数据库，但它特别优化了读操作，使其在大数据查询中表现出色。数据模型：Doris：支持事实表和维度表的星型模式，适合多维分析。ClickHouse：主要是扁平的数据模型，但也支持数组和嵌套数据类型。数据刷新和实时性：Doris：支持近实时的数据刷新，适合需要快速数据更新的场景。ClickHouse：虽然也可以进行快速数据插入，但最佳性能通常是在批量插入时实现的。SQL 支持：Doris：支持丰富的 SQL 语法，包括许多内置函数。ClickHouse：也提供了丰富的 SQL 支持，但某些功能和语法可能与 Doris 有所不同。存储和压缩：Doris：使用多种压缩算法，如 LZ4、ZSTD 等。ClickHouse：也使用 LZ4 和 ZSTD，但还有其他一些特定的存储和索引优化。社区和生态系统：Doris：作为 Apache 项目，有一个活跃的开源社区。ClickHouse：也有一个非常活跃的社区，并得到了许多公司的广泛采用。部署和运维：Doris：支持多种部署方式，包括云和物理硬件。ClickHouse：易于部署，特别是在容器化环境中，如 Kubernetes。总的来说，Doris 和 ClickHouse 都是高性能的 OLAP 数据库，但它们在设计哲学、特性和优化方面有所不同。选择哪一个取决于具体的使用场景、数据模型和性能需求。进程调度算法有哪些？进程调度算法是操作系统用来决定哪个进程应该获得CPU执行时间的算法。这些算法旨在满足如响应时间、吞吐量、资源利用率等多种性能指标。以下是一些常见的进程调度算法及其特点：先来先服务（FCFS, First-Come, First-Served）：进程按照它们到达的顺序获得CPU时间。这种方法简单，但可能导致“饥饿”问题，即长时间的进程可能会导致短时间的进程等待很长时间。短作业优先（SJF, Shortest Job First）：优先执行预计运行时间最短的进程。这种方法可以最小化平均等待时间，但在实际情况中，预测进程的运行时间是非常困难的。优先级调度：每个进程都有一个优先级，优先级最高的进程首先获得CPU时间。这可能导致低优先级的进程饿死，除非采取某种措施（如老化）来逐渐提高等待进程的优先级。时间片轮转（RR, Round Robin）：每个进程获得一个固定大小的时间片（或称为时间量）来执行。当一个进程的时间片用完时，它被移到就绪队列的末尾，下一个进程从队列前端取出并获得CPU时间。这是为多任务系统设计的公平和简单的算法。多级反馈队列：进程被分配到不同的队列，通常基于它们的行为和估计的CPU时间。进程在开始时被放在最高优先级的队列中，但如果它们使用太多的CPU时间，它们会被移动到低优先级的队列。相反，等待时间太长的进程会被移动到高优先级的队列。这种方法试图兼顾短作业和长作业的需要。多级队列调度：进程被分为几个固定的类别或队列。每个队列都有自己的调度算法（例如，前台进程使用RR，后台进程使用FCFS）。调度过程首先从最高优先级的队列开始，只有当高优先级的队列为空时，才会调度低优先级的队列中的进程。进程调度算法的选择取决于系统的需求和目标。例如，实时操作系统可能会优先考虑最严格的优先级调度，而用于通用计算的操作系统可能会使用时间片轮转或多级反馈队列来平衡公平性和响应时间。虚拟内存与物理内存的区别？为什么用虚拟内存更快？虚拟内存和物理内存是计算机存储管理中的两个核心概念。以下是它们之间的主要区别：定义：物理内存：也称为主存或RAM（随机存取存储器），是计算机中的实际存储硬件，用于存储正在执行的程序和数据。虚拟内存：是一个存储抽象，它为应用程序提供了一个看似连续的地址空间，但实际上这些地址可能被映射到物理内存、磁盘或其他存储设备上。目的：物理内存：为CPU提供快速访问的数据和指令存储。虚拟内存：扩展了可用的地址空间，使得应用程序可以使用比物理内存更大的内存空间，并帮助隔离各个应用程序的地址空间，提供保护。实现：物理内存：由实际的硬件芯片组成。虚拟内存：通过页表和内存管理单元（MMU）实现，将虚拟地址映射到物理地址。不常用的数据和代码可以被交换到磁盘上的交换空间或页面文件。关于为什么使用虚拟内存会更快的问题，这有点误导。实际上，直接访问物理内存总是比访问虚拟内存快，因为虚拟内存可能涉及到地址转换和磁盘I/O（当涉及到页面交换时）。但是，虚拟内存的引入带来了以下优势，这些优势在某种程度上可以提高系统的整体性能：更大的地址空间：应用程序可以使用的内存空间超出了物理内存的限制。保护：每个进程都有自己的独立的地址空间，这有助于防止一个进程意外或恶意地修改另一个进程的数据。数据和代码的懒加载：只有当程序真正需要某些数据或代码时，它们才会被加载到物理内存中。页面置换：操作系统可以根据需要将不常用的页面交换到磁盘，从而为更活跃的进程释放物理内存。虽然虚拟内存的管理增加了一些开销，但这些开销通常被上述优势所抵消，从而使得系统在多任务环境中表现得更为出色。MySQL底层索引为什么不用 B Tree？MySQL的主要存储引擎InnoDB使用的是B+树（B-Plus Tree）作为其底层索引结构，而不是B树（B-Tree）。以下是选择B+树而不是B树的原因：更高的磁盘I/O效率：B+树的所有值都存储在叶子节点，而非叶子节点只存储键信息。这意味着非叶子节点可以存储更多的键，从而使树的高度更低，减少磁盘I/O次数。范围查询更加高效：由于B+树的所有叶子节点都是通过指针连接的，所以范围查询可以在叶子节点上连续进行，而不需要回到上一层。这使得范围查询在B+树上比B树更加高效。查询性能更加稳定：在B+树中，所有查询（无论是点查询还是范围查询）最终都会到达叶子节点。这意味着所有查询的路径长度都相同，从而使查询性能更加稳定。更适合磁盘存储：由于磁盘的读取操作通常是按块进行的，B+树的结构使得连续的键值对更有可能在同一块中，从而减少磁盘I/O次数。更容易进行优化：由于数据只存储在叶子节点，B+树的大小和结构更容易进行优化，例如通过调整页的大小来适应特定的工作负载。总的来说，虽然B树和B+树在某些方面有相似之处，但B+树为数据库索引提供了更高的性能和更稳定的查询响应时间，这使得它成为InnoDB存储引擎的理想选择。数据库中事务隔离级别有哪几种？ 数据库中有四种标准的事务隔离级别，它们分别是：读未提交（Read Uncommitted）：在这个隔离级别下，一个事务可以读取另一个未提交事务的修改。这是最低的隔离级别，可能会导致很多问题，如脏读（读取到其他事务修改但尚未提交的数据）。读已提交（Read Committed）：在这个隔离级别下，一个事务只能读取已经提交的事务的修改。这解决了脏读的问题，但仍然可能会遇到其他问题，如不可重复读（在同一个事务中，多次读取同一数据返回的结果不一致，因为其他事务在此期间修改了数据并提交）。可重复读（Repeatable Read）：在这个隔离级别下，其他事务不能修改当前事务已读取的数据，直到当前事务完成。这解决了不可重复读的问题，但仍然可能会遇到幻读问题（在一个事务的两次查询之间，其他事务插入了新的记录）。串行化（Serializable）：这是最高的隔离级别。在这个级别下，事务被处理为串行顺序，即每次只能有一个事务执行，其他事务必须等待。这解决了上述所有问题，包括幻读，但由于事务是串行执行的，可能会导致性能下降。不同的数据库系统可能会对这些隔离级别有所不同的实现，但上述四种级别是SQL标准中定义的。选择适当的隔离级别取决于应用的需求和所能接受的性能与一致性权衡。Java 线程池的核心参数有哪些 ？ Java线程池（特别是java.util.concurrent.ThreadPoolExecutor）的核心参数包括：corePoolSize：线程池的基本大小，即在没有任务执行时线程池的大小，并且只有在工作队列满了的情况下，才会创建超出这个数量的线程。maximumPoolSize：线程池最大线程数。这是线程池可以容纳的最大线程数，超出这个数的线程会被拒绝。workQueue：当线程池中的线程都被使用时，新任务会被放在这个队列中等待被执行。这个参数通常是一个实现了BlockingQueue接口的队列，如ArrayBlockingQueue、LinkedBlockingQueue或SynchronousQueue。threadFactory：用于创建新线程的工厂。使用这个工厂可以自定义如何创建线程，例如设置线程的名称、优先级等。handler：当线程池和工作队列都满了，用于处理被拒绝的任务。常见的实现有AbortPolicy（直接抛出异常）、CallerRunsPolicy（用调用者的线程执行任务）、DiscardPolicy（静默丢弃任务）和DiscardOldestPolicy（丢弃队列中最旧的任务）。keepAliveTime：当线程池中的线程数量超过corePoolSize时，这是多余的空闲线程在被终止前等待新任务的最长时间。timeUnit：keepAliveTime参数的时间单位，如TimeUnit.SECONDS、TimeUnit.MILLISECONDS等。这些参数共同决定了线程池的创建、运行和任务处理策略。正确配置这些参数对于确保线程池的高效和正确运行至关重要。数据湖和数据仓库区别是什么？ 数据湖和数据仓库是两种不同的数据存储和管理解决方案，它们有以下主要区别：数据类型和结构：数据湖：可以存储结构化、半结构化和非结构化数据，如文本、日志、图像、音频等。数据通常以其原始格式存储，没有预先定义的模式。数据仓库：主要存储结构化数据，如关系数据库中的表。数据在加载到数据仓库之前经过清洗、转换和模式定义。处理时间：数据湖：采用“存储现在，处理后”的策略。数据首先被存储，然后在需要时进行处理和分析。数据仓库：采用ETL（提取、转换、加载）过程，数据在加载到仓库之前先进行处理。灵活性：数据湖：由于没有预定义的模式，可以轻松地存储各种数据，并在后续根据需要定义模式（即模式即用）。数据仓库：由于有预定义的模式，对数据的结构和质量有更严格的要求。性能和查询：数据湖：可能需要更复杂的查询和分析工具，尤其是对非结构化数据。查询性能可能不如数据仓库。数据仓库：经过优化以支持快速和复杂的SQL查询，提供高性能的数据分析。存储成本：数据湖：通常使用低成本的存储解决方案，如Hadoop HDFS或云存储。数据仓库：可能使用更高成本的存储和计算资源，但由于数据经过优化，存储效率更高。数据治理和质量：数据湖：可能面临数据治理和质量问题，因为数据湖可能变成“数据沼泽”，其中存储了大量低质量或冗余的数据。数据仓库：通常有更严格的数据治理和质量控制流程。用例：数据湖：适合大数据和实时分析，以及机器学习和高级分析。数据仓库：适合业务智能、报告和结构化的数据分析。尽管数据湖和数据仓库有这些区别，但在现代数据架构中，它们往往是互补的，很多组织都同时使用它们来满足不同的数据需求。