本文是一篇数据湖的面试题，同时也是数据湖知识点的讲解 目录： 一、什么是数据湖 二、数据湖的发展 三、数据湖有哪些优势 四、数据湖应该具备哪些能力 五、数据湖的实现遇到了哪些问题 六、数据湖与数据仓库的区别 七、为什么要做数据湖？区别在于？ 八、数据湖挑战 九、湖仓一体 十、目前有哪些开源数据湖组件 十一、三大数据湖组件对比 一、什么是数据湖  本文首发于公众号【五分钟学大数据】，点击获取：数仓建设保姆级教程  数据湖是一种不断演进中、可扩展的大数据存储、处理、分析的基础设施；以数据为导向，实现任意来源、任意速度、任意规模、任意类型数据的全量获取、全量存储、多模式处理与全生命周期管理；并通过与...

 本文大纲：      因内容较多，本文将直接从第五章开始，完整版文档请点击下方链接：   链接：数仓建设保姆级教程完整版文档   ************   第五章 实时数仓建设核心   1. 实时计算初期   虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求，但是数据量比较少，所以在实时方面形成不了完整的体系，基本所有的开发都是具体问题具体分析，来一个需求做一个，基本不考虑它们之间的关系，开发形式如下：      早期实时计算   如上图所示，拿到数据源后，会经过数据清洗，扩维，通过Flink进行业务逻辑处理，最后直接进行业务输出。把这个环节拆开来看，数据...

本文目录： 一、前言  二、概念解析  数据仓库 数据湖 数据中台  三、具体区别  数据仓库 VS 数据湖 数据仓库 VS 数据中台 总结  四、湖仓一体  目前数据存储方案 Data Lakehouse（湖仓一体）  一、前言 数字化转型浪潮卷起各种新老概念满天飞，数据湖、数据仓库、数据中台轮番在朋友圈刷屏，有人说“数据中台算个啥，数据湖才是趋势”，有人说“再见了数据湖、数据仓库，数据中台已成气候”…… . 50000字详解数仓建设保姆级教程，涵盖离线和实时 . 企业还没推开数字化大门，先被各种概念绊了一脚。那么它们 3 者究竟有啥区别？别急，先跟大家分享两个有趣的比喻。 1、图书馆VS地...

此套面试题来自于各大厂的真实面试题及常问的知识点，如果能理解吃透这些问题，你的大数据能力将会大大提升，进入大厂指日可待  复习大数据面试题，看这一套就够了！ 本文目录： 一、Hadoop  二、Hive  三、Spark  四、Kafka  五、HBase  六、Flink  七、数仓业务方面  八、算法 本文因内容较多，带目录的PDF版查看是比较方便的：2022年最强大数据面试宝典PDF版 Hadoop Hadoop中常问的就三块，第一：分布式存储(HDFS)；第二：分布式计算框架(MapReduce)；第三：资源调度框架(YARN)。 1. 请说下HDFS读写流程  这个问题虽然见过无数次...

Hive的优化主要分为：配置优化、SQL语句优化、任务优化等方案。其中在开发过程中主要涉及到的可能是SQL优化这块。 优化的核心思想是：   减少数据量（例如分区、列剪裁）   避免数据倾斜（例如加参数、Key打散）   避免全表扫描（例如on添加加上分区等）   减少job数（例如相同的on条件的join放在一起作为一个任务）    本文首发在公众号【五分钟学大数据】  HQL语句优化 1. 使用分区剪裁、列剪裁 在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会先全表关联，之后再过滤。 select a.* from a left join b on a.uid...

本文大纲：  因内容较多，带目录的PDF查看是比较方便的： 数仓建设保姆级教程PDF文档 一、数仓基本概念 1. 数据仓库架构 我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。这里我们引用一段话：在软件行业，一种被普遍接受的架构定义是指系统的一个或多个结构。结构中包括软件的构建（构建是指软件的设计与实现），构建的外部可以看到属性以及它们之间的相互关系。 这里参考此定义，把数据仓库架构理解成构成数据仓库的组件及其之间的关系，画出下面的数仓架构图：  上图中显示的整个数据仓库环境包括操作型系统和数据仓库系统两大部分。操作型系统的数据由各种...

面试吹牛之前先打个草稿！  本文首发于公众号【五分钟学大数据】，关注公众号，加作者微信，获取本文PDF版  各位面试官好!   我叫 xxx，毕业于 xxx，之前在 xxx 公司待了 1 年多，期间⼀直从事的是 IT 行业，刚开始的时候做的是 Java 开发后来转岗到大数据方向做大数据开发; 刚转行到大数据开发的时候开始比较困难的，大数据并不像 Java 那样⼀套框架基本可以搞定所有的问题，而是不同的业务对于同⼀个问题有多种解决方案。     我叫 xxx，毕业至今就职于 xx 公司，职位是数仓开发。  参加工作以来，我先后参与筹备大数据服务器购买以及从 0 到 1 的搭建，离线数仓项目组，实...

本文将全面讲解数仓建设规范，从数据模型规范，到数仓公共规范，数仓各层规范，最后到数仓命名规范，包括表命名，指标字段命名规范等！  目录： 一、数据模型架构原则  数仓分层原则 主题域划分原则 数据模型设计原则  二、数仓公共开发规范  层次调用规范 数据类型规范 数据冗余规范 NULL字段处理规范 指标口径规范 数据表处理规范 表的生命周期管理  三、数仓各层开发规范  ODS层设计规范 公共维度层设计规范 DWD明细层设计规范 DWS公共汇总层设计规范  四、数仓命名规范  词根设计规范 表命名规范 指标命名规范  一、数据模型架构原则 1. 数仓分层原则 优秀可靠的数仓体系，往往需要清晰的...

1. Spark 的运行流程？  具体运行流程如下：   SparkContext 向资源管理器注册并向资源管理器申请运行 Executor   资源管理器分配 Executor，然后资源管理器启动 Executor   Executor 发送心跳至资源管理器   SparkContext 构建 DAG 有向无环图   将 DAG 分解成 Stage（TaskSet）   把 Stage 发送给 TaskScheduler   Executor 向 SparkContext 申请 Task   TaskScheduler 将 Task 发送给 Executor 运行   同时 SparkCon...

此面试题来自牛客网友分享的字节跳动应届一面，面试时长一小时。  网友情况：985 本硕。  参考答案由公众号【五分钟学大数据】提供。如有错误，欢迎指正！  以下为面试过程中提问，岗位为大数据开发：   自我介绍+项目介绍  为什么用 kafka、sparkstreaming、hbase？有什么替代方案吗？  聊聊你觉得大数据的整个体系？  你看过 hdfs 源码？nn 的高可用说一下  zookeeper 简单介绍一下，为什么要用 zk？zk 的架构？zab？  hbase 的架构，读写缓存？  blockcache 的底层实现？你提到了 LRU 那除了 LRU 还可以有什么方案？  聊聊 s...

本文目录： 一、HDFS  二、MapReduce  三、Yarn  四、Hadoop3.x 新特性  五、Hadoop 大厂面试真题解析 Hadoop 涉及的知识点如下图所示，本文将逐一讲解：  本文档参考了关于 Hadoop 的官网及其他众多资料整理而成，为了整洁的排版及舒适的阅读，对于模糊不清晰的图片及黑白图片进行重新绘制成了高清彩图。 目前企业应用较多的是Hadoop2.x，所以本文是以Hadoop2.x为主，对于Hadoop3.x新增的内容会进行说明！ 一、HDFS 1. HDFS概述 Hadoop 分布式系统框架中，首要的基础功能就是文件系统，在 Hadoop 中使用 FileSy...

最近有读者私聊我时发现有不少应届生和初学者，他们在大数据怎么学，以及大数据怎么面试，简历怎么写等方面有很大的困扰，今天我们就来谈谈关于大数据的一些事。    写在前面：每个人的学习方法可能不一样，只有找到适合自己的才是最好的，以下这些只是我在学习大数据时的一些总结及经验，有不全面的地方还请各位大佬多包涵，互相学习，共同进步，非常感谢！    我之前在知乎回答过类似的问题，有人问大数据工程师的日常工作内容是干嘛？，我当时看到之后就随意回答了下，先说了下大数据日常干嘛，然后又说了下怎么准备大数据的面试，怎么学大数据等等，没想到反响还挺好，截图了部分评论：     今天走心回答一波，把知乎回答的内容...

数仓建设真正的难点不在于数仓设计，而在于后续业务发展起来，业务线变的庞大之后的数据治理，而数据治理的范围非常广，包含数据本⾝的管理、数据安全、数据质量、数据成本等。在这么多治理内容中，大家想下最重要的治理是什么？当然是数据质量治理，因为数据质量是数据分析结论有效性和准确性的基础，也是这一切的前提。所以如何保障数据质量，确保数据可用性是数据仓库建设中不容忽视的环节。  数据质量涉及的范围也很广，贯穿数仓的整个生命周期，从数据产生->数据接入->数据存储->数据处理->数据输出->数据展示，每个阶段都需要质量治理。 在系统建设的各个阶段都应该根据标准进行数据质量检测和...

 带目录的pdf版：   本文超长长，获取本文完整PDF文档，请搜索公众号【五分钟学大数据】，后台发送：flink pdf，即可下载带目录的完整版flink文档。     本文目录：   一、Flink 简介  二、Flink 部署及启动  三、Flink 运行架构  四、Flink 算子大全  五、流处理中的 Time 与 Window  六、Flink 状态管理  七、Flink 容错  八、Flink SQL  九、Flink CEP  十、Flink CDC  十一、基于 Flink 构建全场景实时数仓  十二、Flink 大厂面试题   Flink 涉及的知识点如下图所示，...