Spark 3.0增加的新特性包括动态分区修剪（Dynamic Partition Pruning）、自适应查询执行（Adaptive Query Execution）、***感知调度（Accelerator-aware Scheduling）、支持 Catalog 的数据源API（Data Source API with Catalog Supports）、SparkR 中的向量化（Vectorization in SparkR）、支持 Hadoop 3/JDK 11/Scala 2.12 等等。   1、动态分区裁剪（Dynamic Partition Pruning）   在3.0以前，...

刚刚在牛客的面经分享部分看了下，前几篇面经，Spark Shuffle就被问到了多次   比如：     比如：     还有很多，大家可以在牛客网的讨论区看下其他牛友分享的面经，基本上就知道面试官是怎么去问，我们又该思考如何去回答。   牛客面经中常问的问题：   介绍下Spark Shuffle   问过的一些公司：字节x7，字节(2021.08)-(2021.10)，爱奇艺，头条，第四范式，陌陌 x 3，蘑菇街，美团 x 6，美团(2021.08)，海康，网易云音乐，阿里，商汤科技，作业帮社招，京东，携程(2021.09)，腾讯云(2021.10)    带年份的是后面大数据面试题3.0...

数据仓库总结  一、数据仓库概述   首先，我们先来看下数据库、数据集市、数据仓库以及数据湖的概念。   1、什么是数据库？   数据库（Database）是按照一定格式和数据结构在计算机保存数据的软件，属于物理层。   最早期是广义上的数据库，这个阶段的数据库结构主要以层次或网状的为主，这是数据库的数据和程序间具备非常强的依赖性，应用有一定局限性。   我们现在所说的数据库一般指的是关系型数据库。关系数据库是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，具有结构化程度高，独立性强，冗余度低等优点。   关系型数据库主要用于联机事务处理OLTP（On-Line Transact...

大数据面试题V3.0   一、前言   大家好，我是蓦然。   距离大数据面试题V2.0过去三个多月，V3.0题目基本上就整理好了，所有面试题来源于牛客网上牛友们分享的面经，我主要是整理汇总。   2.0版本时，面试题整理了401道题，大约整理了500篇面试题，现在3.0，把当时剩下的370+也整理完了，虽然面经数量有370+，但新题基本上不多了，整理完，共480道题。很多都是以前问过的，所以新增的题目不多。之前预计是7月份左右3.0才能整理好，不过疫情在家隔离了一段时间，除去居家办公，剩余时间也相对多了不少，抓紧时间就把3.0整理完了，现在在慢慢整理一套比较完整的大数据开发学习视频，这个就后...

 大家好，我是蓦然  大数据面试题V2.0主要是从牛客上摘取一些别人分享的大数据面试题。   大数据面试题V2.0共401道题，641页，近39w字，图片数量就没计算了，有的题目就是展开来概述了，所以不小心就页数有点超标，初稿刚出来时预计是300-400页。   下面大概介绍下这版面试题的大概内容，主要分为以下几部分：   Hadoop面试题：80道   Zookeeper面试题：20道   Hive面试题：29道   Flume面试题：9道   Kafka面试题：51到   HBase面试题：33道   Spark面试题：81道   Flink面试题：27道   数仓面试题：21道   综合...

接下来这几道题，算是所有面经里面出现频率最高的（仅限牛客大数据开发面经分享），有的公司甚至一二面都常有重复的题（比如美团~）。   公众号：旧时光大数据   一、Hadoop部分     一、HDFS文件写入和读取过程   可灵活回答：   1）HDFS读写原理（流程）   2）HDFS上传下载流程   3）讲讲（介绍下）HDFS   4）HDFS存储机制   问过的一些公司：   阿里×3，阿里社招，腾讯x2，字节x2，百度，拼多多x2，浩鲸云，小米，流利说，顺丰，网易云音乐×2，有赞×2，祖龙娱乐，360×2，商汤科技，招银网络，深信服，多益，大华，快手，电信云计算，转转，美团x4，sho...

接下来这几道题，算是所有面经里面出现频率最高的（仅限牛客大数据开发面经分享），有的公司甚至一二面都常有重复的题（比如美团~）。   原文链接：https://mp.weixin.qq.com/s/2Dzv8uPlvEZz7d_jgB4WPg   一、Hadoop部分     一、HDFS文件写入和读取过程   可灵活回答：   1）HDFS读写原理（流程）   2）HDFS上传下载流程   3）讲讲（介绍下）HDFS    4）HDFS存储机制   问过的一些公司：   阿里×3，阿里社招，腾讯x2，字节x2，百度，拼多多x2，浩鲸云，小米，流利说，顺丰，网易云音乐×2，有赞×2，祖龙娱乐，3...