1. HDFS的架构HDFS主要包括三个部分，namenode，datanode以及secondary namenode。这里主要讲一下他们的作用：namenode主要负责存储数据的元数据信息，不存储实际的数据块，而datanode就是存储实际的数据块，secondary namenode主要是定期合并FsImage和edits文件（这里可以进行扩展，讲一下为什么有他们的存在？首先namenode存储的元数据信息是会放在内存中，因为会经常进行读写操作，放在磁盘的话效率就太低了，那么这时候就会有一个问题，如果断电了，元数据信息不就丢失了吗？所以也需要将元数据信息存在磁盘上，因此就有了用来备份元数...

前言 2025届春招即将在3月开始，这也是我们以应届生身份找工作的最后一次机会，很多同学在秋招中没有拿到一个满意的offer，也有些同学由于考研并没有参加秋招，春招的hc相比秋招会减少至少50%，因此求职竞争压力会更大 作为一个2023届毕业的师兄（拿到过字节、阿里、滴滴、美团等大厂数据开发的offer），今天有一些求职经验想要跟大家分享  制定学习计划 春招距离现在最多也就3个月时间，必须制定一个明确高效的计划，这样才能够有机会拿到中大厂offer 在此，我给大家制定了一份学习计划，不一定适用于所有人，可以根据自己的实际情况进行调整    "借"简历 可以借鉴其他数据开发同学的优秀简历，跟大...

推荐阅读文章列表大数据开发面经汇总【持续更新...】我的大数据学习之路大数据开发面试笔记V6.0SQL题目来自阿里数据分析二面有一张淘宝购物订单表dwd_tb_order_detail_di，包含order_id（订单id）、commodity_id （商品id）、ds（下单时间）问题：计算连续下单大于或等于3次的商品id -- 举例如下： -- 输入 order_id commodity_id ds 1 A 2024-12-21 10:10 2 B 2024-12-21 10:12 3 B 2024-12-21 10:15 4 B 2024-12-21 10:20 5 A 2024-12-2...

推荐阅读文章列表大数据开发面经汇总【持续更新...】我的大数据学习之路大数据开发面试笔记V6.0前言我相信大家跟我有一样的苦恼，特别是在大厂的朋友们，是不是觉得干数据研发，每天就是写SQL，没什么技术含量！！！感觉自己曾经学习的一些吊炸天的技术完全无用武之地，比如Java、MapReduce、Spark、Kafka、Zookeeper、Hbase等等，那么再写几年SQL，自己的技术不就都荒废了吗？作为一名在多家大厂干过的SQL BOY（字节、阿里、滴滴、美团、快手等等），今天来跟大家聊聊 我们是否应该继续干数据研发呢？答疑解惑先基本介绍一下大数据相关的岗位，一般分为三个方向：数据平台、离线数仓...

推荐阅读文章列表大数据开发面经汇总【持续更新...】我的大数据学习之路大数据开发面试笔记V6.0SQL题目有一张员工扫脸进出园区的天表dwd_emp_face_di，包含emp_id（员工id）、time（扫脸时间）、in_flag（是否进入园区）问题：计算2024年12月13日打卡时长不满8小时的员工名单 -- 举例如下： -- 输入 emp_id time in_flag 001 2024-12-13 9:00 1 001 2024-12-13 19:00 0 002 2024-12-13 8:00 1 002 2024-12-13 9:00 0 002 2024-12-13 12:00 ...

一、准备：武装你的论点在与leader沟通之前，小A首先要做的就是充分准备。这包括收集数据、案例分析和相关研究，以确保自己的观点站得住脚。准备工作是沟通的基石，它能够让小A在讨论中更加自信，也能让leader看到小A的专业性。二、时机：选择正确的时刻找到合适的时机是沟通的关键。小A选择了在一次项目会议结束后，私下与leader进行交流。这样的安排既避免了在众人面前的尴尬，也为深入讨论提供了空间。三、尊重：建立沟通的桥梁在沟通的开始，小A表达了对leader的尊重和对其意见的理解。这种尊重的态度能够缓和气氛，为后续的讨论打下良好的基础。四、表达：清晰地阐述观点小A清晰、简洁地阐述了自己的观点，并...

本文仅针对大数据开发岗位的同学，其他岗位可作参考前言据不详细统计，2025届秋招拿到中大厂offer的学员共计284人，其中有过实习经历的同学占比95%我问过很多P8大佬在筛选校招候选人简历时，他们更加关注什么？总结下来就是：学历 + 实习经历如果既没有学历，又没有实习经历，那么可能直接挂在简历筛选的环节实习真的非常至重要！！！非常至重要！！！非常至重要！！！如果有一段大厂的实习经历，大多数大厂的简历筛选都不会卡你如果有一段中厂的实习经历，部分大厂以及大多数中厂的简历筛选都不会卡你如果有一段小长的实习经历，部分中大厂以及大多数小厂的简历筛选都不会卡你为什么没有实习？没有实习经历的同学无非以下两...

很多小伙伴在跟我交流的过程中，会问我这样一个问题："大数据框架这么多，学了有啥用，有没有一些框架可以不学，企业里面开发要求会用这么多框架吗"我刚开始学习大数据的时候也和大家一样，这么多框架，不知道从何下手，又想速战速决，还不知道自己学习的内容是否能够对付未来在企业的开发工作...之前自己在学习大数据的时候浪费了很多的时间，这里为了帮助大家在学习大数据的时候少走弯路，同时也是对自己过去三年学习大数据过程的一个总结，今天就好好跟小伙伴们说一说如何高效学习大数据，一路直通大厂！！！学习路线预览编程语言Java：对于目标岗位是数仓开发的同学来说，只需要学习Java基础部分即可，后续...

推荐阅读文章列表大数据开发面经汇总【持续更新...】我的大数据学习之路大数据开发面试笔记V6.0SQL题目来自蚂蚁数据研发一面有一张用户贷款信息表dwd_trd_loan_tb_dd，包含uid（用户id）、amt（贷款金额）、ovd_days（逾期天数）、dt（时间分区）以及逾期等级配置表dim_ovd_config_dd，包含ovd_days（逾期天数），user_level（用户风险等级）注意：当ovd_days=1且user_level=1，表示用户逾期天数<=1时，用户风险等级都为1；当ovd_days=30且user_level=2，表示用户逾期天数>1同时<=3...

推荐阅读文章列表大数据开发面经汇总【持续更新...】我的大数据学习之路大数据开发面试笔记V6.0面试经验来自牛客#数据人的面试交流地1.自我介绍2.项目内容：背景，uv，pv，功能，项目人数，分工3.数仓的设计思路4.分层数仓和使用普通数仓的区别5.为什么ods不直接对接app层6.项目用了哪些技术栈7.hdfs如何保证高可用8.hdfs写入数据流程，写入过程中datanode挂了怎么办9.小文件原因，危害，解决方法10.数据倾斜介绍，数据倾斜如何排查11.spark的两种shuffle12.sql题：商铺的最大销量的类目13.设计题：数据量pb级别，要获取近30天和近90天的活跃用户uv，设...

推荐阅读文章列表 大数据开发面经汇总【持续更新...】 我的大数据学习之路 大数据开发面试笔记V6.0 SQL题目  来自字节跳动数据开发一面   有一张用户登录日志表ods_login_usr_log, 包含user_id（用户id）和login_dt（登录日期） 问题：计算每个用户最大的连续登录天数，可以间隔一天  -- 举例如下： -- 输入 use_id login_dt 1001 20240812 1002 20240812 1001 20240813 1001 20240814 1001 20240816 1002 20240816 1001 20240819 1002 20240...

推荐阅读文章列表 大数据开发面经汇总【持续更新...】 我的大数据学习之路 大数据开发面试笔记V6.0 SQL题目  来自字节、阿里、腾讯、pdd等数据研发一面二面   有一张用户登录日志表ods_usr_login_log, 包含user_id（用户id）、login_dt（登录日期），一个用户当天可能登录多次 问题：计算存在新用户登录的日期的次日留存率以及3日留存率  N日留存用户数：某日活跃的用户在之后的第N日活跃用户数    答案解析 模拟数据 INSERT INTO ods_usr_login_log VALUES ('001','20240701'), ('001','202407...

推荐阅读文章列表 大数据开发面经汇总【持续更新...】 我的大数据学习之路 大数据开发面试笔记V6.0 SQL题目  来自今日头条数据研发一面   有一张股票交易价格表ods_stock_trd_log, 包含sto_code（股票代码）、trade_dt（交易日期）以及price（交易价格） 问题：求出每只股票对应的波峰和波谷  波峰：股票价格高于前一天和后一天价格时 波谷：股票价格低于前一天和后一天价格时    答案解析 模拟数据 INSERT INTO ods_stock_trd_log VALUES ('001','20220104',11.06), ('002','20220104'...

推荐阅读文章列表 大数据开发面经汇总【持续更新...】 我的大数据学习之路 大数据开发面试笔记V6.0 面试考察频率  低频考察函数  想必大家都比较了解高频函数的使用，以下主要讲解低频函数的使用  FIRST_VALUE select deptno, ename, sal, first_value(sal) over (partition by deptno order by sal desc) as first_value from emp;   NTILE select deptno, ename, sal, -- 如果分区中的数据不能被均匀地切分成N等份时，最前面的等份（编号较小的）会...