《你觉得你能从加班中学到什么》宇信科技大数据二面

面试时间：2025.03面试部门：核心本地商业-基础研发平台timeline：3.7一面3.12二面3.15 oc一面（30min）自我介绍，问到岗时间离线数仓的项目简单介绍，是否用到数仓分层？项目中数仓分层的具体规划，每一层都存储了哪些内容？为什么要进行数仓分层？星型模型和雪花模型的对比了解Spark SQL调优吗？（不太了解，详细说了hive调优的内容）是否了解一些新兴的技术？（回答数据湖，Hudi/Paimon/Iceberg，然后对比了数据湖和数据仓库的应用场景）SQL手撕：给一张Customer表和Product表，查询出购买所有商品的顾客反问：业务主要做些什么二面（30min）自我...

项目 说一个你最熟悉项目，你在这里面主要在做什么工作离线主要写的是这种 Spark SQL 是吗？spark问题排查与优化我给你一个这个实际的场景吧。比如说你的一个任务，之前就是每天大概30分钟就能跑完，现在突然跑了两个小时，然后对于这个情况，你的分析以及定位解决的思路是什么样的？那你怎么判断出它确实是倾斜的呢？那看到这个 tasks 倾斜之后呢？你会怎么去解决？OK，刚才你说的是这个解法啊，就是现在的话，就是说你知道了这个，stage 也倾斜了，那你怎么我知道，是你这个 sql 里面，可能你这个 sql 比较比较长，对吧？发生倾斜的可能是有 join、group by 很多很多种情况。那你这个你这个很长的 sql 里面可能有很多的 join 很多的 group by 那你怎么知道是哪段 sql 发生倾斜的呢？你说的具体是 Spark 的哪个？UI 的哪个界面啊就是这 Spark UI 界面你之前看过是吧？有没有深析？有没有深入的研究过这个上面的一些指标的含义？以及每个页面它具体承载了哪些信息？那你说一下这个 spark 任务的一个大概的提交流流程是什么样的？最后就是一道sql题并且讲述解题逻辑求10分钟内连续下单的order_id

面试时老板跟你谈理想，入职后发现理想很丰满，现实很骨感——有些公司，从你踏进门的那一刻起，就注定了是段“孽缘”。 找工作就像谈恋爱，遇到对的公司天天都是情人节，遇到错的公司分分钟想分手。那些画大饼的、试用期不交社保的、把加班当文化的...今天咱们就来盘点一下，哪些公司千万不能去！  一、这些公司，见面就要说再见 相信很多人见过画大饼的老板，这不止在职场中，那张大饼在我们生活中无处不在，在职场小公司中画大饼尤其常见，尤其是0-20人的规模的公司，说是给什么分红，XXX 奖金，一问底薪直接 3K，直呼666. 还有壁垒小作坊公司，而且公司都是老板亲戚，相当于全是关系户在干活，纯纯就是招牛马就承担责...

1.WordCount 具体是怎么跑的?比如怎么分片、map 阶段做了啥、shuffle 是咋回事、reduce 最后怎么汇总的2.MapReduce和Spark 到底差在哪儿?适用场景这些都得对比着说3.Spark 提交任务时，Client模式和集群模式有啥不一样?比如 Driver 在哪跑、日志在陖瞎圈看、适合啥场景4.同一条 SQL，为啥 SparkSQL 跑起来比HiveSQL 快?得从执行引擎、优化器这些底层说说原因5.自定义 UDF 怎么实现?比如在 Hive 或Spark 里，具体步骤是啥，有没有踩过坑6.设计 HBase 表得注意啥?rowkey 怎么设计才合理、列族要不要分、版本数怎么设，这些睪腘狐旨を曽斷纰可能问到7.HBase 里的 HLog 是干嘛的?跟数据持久化、故障恢复有关系吗8.都是存在 HDFS 上的数据，为啥 HBase 能支持在线实时查询，Hive 就不行?底层存储结构不一样在哪9.用 SparkSQL 操作 Hive 数据时，有没有縈区堠浓ゴ壮攥到过兼容性问题?比如某些函数不支持、数据格式读不对之类的，怎么解决的10.Spark Streaming、Storm、Flink 这几个流处理框架，区别在哪?各自的优缺点和适用场景得搞明白场景题:11.数据量特别大，要用三个 Map 和一个Reduce 来做 Top10，哪种方法效率最高?得考虑怎么减少数据传输、避免倾斜