spark

大家好啊啊啊啊，目前大三上，学了hadoop,hive,spark，做了一个离线数仓的项目，之后又去学了kafka、flink，现在打算做一个实时的数仓，我这个方向是对的吗？如果打算年后找实习的话，有没有好的建议呢？

数据倾斜都有哪些原因?分别从spark、hive的角度分析。1、spark中的数据倾斜：包括spark streaming和sparkSQL。主要表现为：1）executor lost，OOM.shuffle 过程出错；2）Driver OOM；3）单个executor执行时间特别久，整个仍然任务卡在某个阶段不能结束；4）正常运行的任务突然失败。2、hive中常见的数据倾斜：1）key分布不均衡2）业务问题后者业务数据本身的问题，某些数据比较集中3）建表的时候考虑不周4）某些sql语句本身就有数据倾斜，例如：（1）大表join小表：其实小表的key集中，分发到某一个或者几个reduce上的数据远远高于平均值（2）大表join大表：空值或无意义值：如果缺失的项很多，在做join时这些空值就会非常集中，拖累进度。（3）group by： group by的时候维度过小，某值的数量过多，处理某值的reduce非常耗时间。（4）Count distinct：某特殊值过多，处理此特殊值的reduce耗时。3、解决思路：1）业务逻辑方面：从业务逻辑层面来优化数据倾斜（比如两个城市突然做推广活动，导致两个城市的数据猛烈增长100000%，其余的城市的数据量不变的情况下，然后对不同的城市做group的数据统计，这时久会产生数据倾斜。如果我们这时对两个城市单独做count，可能用到两次MR，第一次是打散计算，第二次则是聚合，完成之后再和其他城市做最后的整合）2）程序方面：可以先group by, 再在外面套一层count3）调参4）从业务和数据上解决数据倾斜

RDD Programming RDD 核心架构与特性   分区（Partitions）：数据被切分为多个分区；每个分区在集群节点上独立处理；分区是并行计算的基本单位。   计算函数（Compute Function）：每个分区应用相同的转换函数；惰性执行机制。   依赖关系（Dependencies）   窄依赖：1个父分区 → 1个子分区（map、filter）。   宽依赖：1个父分区 → 多个子分区（groupByKey、join）。     分区器（Partitioner）：仅存在于键值对RDD；决定数据如何分区，HashPartitioner（默认）、RangePartitione...

Apache Spark Introduction Spark Introduction  定义： Apache Spark 是一个开源的、分布式、统一的计算引擎，专为大规模数据处理而设计。 核心目标： 提供高速（Lightning-Fast）、易用且通用的数据处理能力。  Spark 性能关键  内存计算 (In-Memory Computing)： Spark 尽可能将中间数据保留在集群内存中，避免了传统 MapReduce 需要反复读写磁盘的瓶颈，极大提升迭代算法和交互式查询速度。 有向无环图 (DAG) 执行引擎：  Spark 将用户程序构建成一个 DAG（Directed Acyc...

我是大数据专业22应届生，今年考研本校上线，上岸基本稳了，但因为想检验一下本科的学习成果，所以想找一个大数据实习，最好能用到hadoop生态圈的组件和spark系统栈。不过截止目前发现大部分岗位都只要23届的，所以想求助一下各位大佬，问问大家这种情况要怎么去找合适的实习岗位，简历应该要怎么优化，该做些什么准备工作。

模型开发的流程，需求调研过程中有哪些人员参加，调研过程，你会输出什么文档？如何保障数据质量（准确性）？spark有什么优缺点？在使用过程如何规避缺点？spark内存模型？spark和MR为什么会进行shuffle，如何减少shuffle？小文件治理的方式？主题域建设的流程？大表join大表的优化（10亿与1千万数据关联）？为什么存在ods穿透？为什么离职，旧公司工作强度如何？这公司现在还能去么？我真的哭死。

Spark SQL 表分区与分桶详解一、表分区（Partitioning）定义：通过指定业务相关字段（如日期、地域）将数据物理划分为独立目录存储，实现垂直切分。核心特性：目录结构映射：/table/path/partition_column=value/分区裁剪：自动跳过无关分区，减少I/O适用场景：有明显时间范围查询（如WHERE dt='2023-01-01'）创建语法： -- 静态分区表 CREATE TABLE logs ( user_id STRING, event STRING ) PARTITIONED BY (dt STRING, country STRING) STORED ...