最先回答做过，我之前做过一个缓慢变化维表的模型设计优化第一步讲：为什么做？数据仓库的重要特点之一是反映历史变化，所以如何处理维度的变化是维度设计的重要工作之一。缓慢变化维的提出是因为在现实世界中，维度的属性并不是静态的，它会随着时间的流逝发生缓慢的变化，与数据增长较为快速的事实表相比，维度变化相对缓慢。如果维度的历史信息不需要保存，那么每天直接覆盖是不是就可以了呢？但是，大多数场景下，历史维度信息都需要保存下来，供业务分析使用。此时，如何更好地处理缓慢变化维就显的至关重要。第二步讲：别人怎么做？分区全量表：开发简单；取数简单；浪费存储dt=0305(第一天) id status 1001...

近期，有参加春招的同学和我交流了他的面试历程，我针对这些内容进行了细致的总结与梳理，并在此分享出来，希望能助力大家学习与借鉴。1.八股文1）HashMap的底层原理是什么【见V6.0面试笔记 Java基础部分第19题】2）了解MapReduce的combine和merge吗【见V6.0面试笔记 MapReduce部分第1题】3）Hive分区和分桶的区别是什么以及适用的场景分别是什么【见V6.0面试笔记 Hive部分第5题】4）Hive/Spark是如何构建UDF的【见V6.0面试笔记 Hive部分第14题】面试笔记补充：Spark是如何构建UDF的？【补充至 Spark补充题第26题】 // ...

近期，有参加春招的同学和我交流了他的面试历程，我针对这些内容进行了细致的总结与梳理，并在此分享出来，希望能助力大家学习与借鉴。1. 自我介绍大家好，我是xxx，就读于xxx学校，今天我主要从专业技能和项目经历两个方面来介绍，在学校期间，学习过Hadoop、Spark、Flink等大数据框架以及Spring、SpringBoot等web框架，同时做过一个数仓的项目，整个项目分为3个模块，xxx；曾经在xx家公司工作/实习过xx时间，做的主要工作包括3个部分，分别是xxx；以上就是我的自我介绍，谢谢面试官2.八股文1）RDD是什么全称（Resilient Distributed Dataset）叫...

1. HDFS的架构HDFS主要包括三个部分，namenode，datanode以及secondary namenode。这里主要讲一下他们的作用：namenode主要负责存储数据的元数据信息，不存储实际的数据块，而datanode就是存储实际的数据块，secondary namenode主要是定期合并FsImage和edits文件（这里可以进行扩展，讲一下为什么有他们的存在？首先namenode存储的元数据信息是会放在内存中，因为会经常进行读写操作，放在磁盘的话效率就太低了，那么这时候就会有一个问题，如果断电了，元数据信息不就丢失了吗？所以也需要将元数据信息存在磁盘上，因此就有了用来备份元数...

前言 2025届春招即将在3月开始，这也是我们以应届生身份找工作的最后一次机会，很多同学在秋招中没有拿到一个满意的offer，也有些同学由于考研并没有参加秋招，春招的hc相比秋招会减少至少50%，因此求职竞争压力会更大 作为一个2023届毕业的师兄（拿到过字节、阿里、滴滴、美团等大厂数据开发的offer），今天有一些求职经验想要跟大家分享 制定学习计划 春招距离现在最多也就3个月时间，必须制定一个明确高效的计划，这样才能够有机会拿到中大厂offer 在此，我给大家制定了一份学习计划，不一定适用于所有人，可以根据自己的实际情况进行调整 "借"简历 可以借鉴其他数据开发同学的优秀...

推荐阅读文章列表大数据开发面经汇总【持续更新...】我的大数据学习之路大数据开发面试笔记V6.0SQL题目来自阿里数据分析二面有一张淘宝购物订单表dwd_tb_order_detail_di，包含order_id（订单id）、commodity_id （商品id）、ds（下单时间）问题：计算连续下单大于或等于3次的商品id -- 举例如下： -- 输入 order_id commodity_id ds 1 A 2024-12-21 10:10 2 B 2024-12-21 10:12 3 B...

推荐阅读文章列表大数据开发面经汇总【持续更新...】我的大数据学习之路大数据开发面试笔记V6.0前言我相信大家跟我有一样的苦恼，特别是在大厂的朋友们，是不是觉得干数据研发，每天就是写SQL，没什么技术含量！！！感觉自己曾经学习的一些吊炸天的技术完全无用武之地，比如Java、MapReduce、Spark、Kafka、Zookeeper、Hbase等等，那么再写几年SQL，自己的技术不就都荒废了吗？作为一名在多家大厂干过的SQL BOY（字节、阿里、滴滴、美团、快手等等），今天来跟大家聊聊 我们是否应该继续干数据研发呢？答疑解惑先基本介绍一下大数据相关的岗位，一般分为三个方向：数据平台、离线数仓...

推荐阅读文章列表大数据开发面经汇总【持续更新...】我的大数据学习之路大数据开发面试笔记V6.0SQL题目有一张员工扫脸进出园区的天表dwd_emp_face_di，包含emp_id（员工id）、time（扫脸时间）、in_flag（是否进入园区）问题：计算2024年12月13日打卡时长不满8小时的员工名单 -- 举例如下： -- 输入 emp_id time in_flag 001 2024-12-13 9:00 1 001 2024-12-13 19:00 0 002 2024-12-13 8:00 1 002 2...

一、准备：武装你的论点在与leader沟通之前，小A首先要做的就是充分准备。这包括收集数据、案例分析和相关研究，以确保自己的观点站得住脚。准备工作是沟通的基石，它能够让小A在讨论中更加自信，也能让leader看到小A的专业性。二、时机：选择正确的时刻找到合适的时机是沟通的关键。小A选择了在一次项目会议结束后，私下与leader进行交流。这样的安排既避免了在众人面前的尴尬，也为深入讨论提供了空间。三、尊重：建立沟通的桥梁在沟通的开始，小A表达了对leader的尊重和对其意见的理解。这种尊重的态度能够缓和气氛，为后续的讨论打下良好的基础。四、表达：清晰地阐述观点小A清晰、简洁地阐述了自己的观点，并...

本文仅针对大数据开发岗位的同学，其他岗位可作参考前言据不详细统计，2025届秋招拿到中大厂offer的学员共计284人，其中有过实习经历的同学占比95%我问过很多P8大佬在筛选校招候选人简历时，他们更加关注什么？总结下来就是：学历 + 实习经历如果既没有学历，又没有实习经历，那么可能直接挂在简历筛选的环节实习真的非常至重要！！！非常至重要！！！非常至重要！！！如果有一段大厂的实习经历，大多数大厂的简历筛选都不会卡你如果有一段中厂的实习经历，部分大厂以及大多数中厂的简历筛选都不会卡你如果有一段小长的实习经历，部分中大厂以及大多数小厂的简历筛选都不会卡你为什么没有实习？没有实习经历的同学无非以下两...

很多小伙伴在跟我交流的过程中，会问我这样一个问题："大数据框架这么多，学了有啥用，有没有一些框架可以不学，企业里面开发要求会用这么多框架吗"我刚开始学习大数据的时候也和大家一样，这么多框架，不知道从何下手，又想速战速决，还不知道自己学习的内容是否能够对付未来在企业的开发工作...之前自己在学习大数据的时候浪费了很多的时间，这里为了帮助大家在学习大数据的时候少走弯路，同时也是对自己过去三年学习大数据过程的一个总结，今天就好好跟小伙伴们说一说如何高效学习大数据，一路直通大厂！！！学习路线预览编程语言Java：对于目标岗位是数仓开发的同学来说，只需要学习Java基础部分即可，后续...

推荐阅读文章列表大数据开发面经汇总【持续更新...】我的大数据学习之路大数据开发面试笔记V6.0SQL题目来自蚂蚁数据研发一面有一张用户贷款信息表dwd_trd_loan_tb_dd，包含uid（用户id）、amt（贷款金额）、ovd_days（逾期天数）、dt（时间分区）以及逾期等级配置表dim_ovd_config_dd，包含ovd_days（逾期天数），user_level（用户风险等级）注意：当ovd_days=1且user_level=1，表示用户逾期天数<=1时，用户风险等级都为1；当ovd_days=30且user_level=2，表示用户逾期天数>1同时<=3...

推荐阅读文章列表大数据开发面经汇总【持续更新...】我的大数据学习之路大数据开发面试笔记V6.0面试经验来自牛客#数据人的面试交流地1.自我介绍2.项目内容：背景，uv，pv，功能，项目人数，分工3.数仓的设计思路4.分层数仓和使用普通数仓的区别5.为什么ods不直接对接app层6.项目用了哪些技术栈7.hdfs如何保证高可用8.hdfs写入数据流程，写入过程中datanode挂了怎么办9.小文件原因，危害，解决方法10.数据倾斜介绍，数据倾斜如何排查11.spark的两种shuffle12.sql题：商铺的最大销量的类目13.设计题：数据量pb级别，要获取近30天和近90天的活跃用户uv，设...

推荐阅读文章列表 大数据开发面经汇总【持续更新...】 我的大数据学习之路 大数据开发面试笔记V6.0 SQL题目 来自字节跳动数据开发一面 有一张用户登录日志表ods_login_usr_log, 包含user_id（用户id）和login_dt（登录日期） 问题：计算每个用户最大的连续登录天数，可以间隔一天 -- 举例如下： -- 输入 use_id login_dt 1001 20240812 1002 20240812 1001 20240813 1001 20240814 1001 20240816 1002 20240816 1001 202...