timeline3.27 一面3.27 二面3.28  oc4.1 offer一面 20min1.自我介绍2.实习项目3.数据库索引 索引数据结构 如何建立索引4.spark rdd 5.spark和mr区别6.spark shuffle算子7.spark宽窄依赖8.最长公共子序列 没有写 只是说了一下状态转移方程9.反问二面 30min1.自我介绍2.实习相关3.聊天 自己的优势 劣势4.三数之和 5.反问

努力找实习中，整理一些大数据相关面试题和大家分享，共同学习进步，有建议或批评欢迎留言！大数据相关问题每日五问：（一）25.4.7（1）：SQL，Hadoop，Spark，数仓理论，场景应用（二）25.4.8（2）：SQL、Hadoop、ES、Hive、Spark（三）25.4.9（3）：ES、SQL、数仓理论、Hadoop（四）25.4.10（4）：SQL、数仓理论、Spark（五）25.4.11（5）：数仓理论、ES、SQL、Hadoop（六）25.4.12（6）：Hadoop、SQL、数仓理论（七）25.4.13（7）：数仓理论、SQL、Hadoop、ES（八）25.4.17（8）：...

大概面了50分钟，面试官人很好，全程无压力。1. 自我介绍2. 讲一下你做过的项目3. 你刚才说的是数仓的分层概念，介绍下每一层都有什么表，存储什么指标，之类的（记不太清了，总之是深挖项目）4. mapreduce的工作原理5. mapreduce的缺点6. spark为什么比mr好7. 了解实时处理比如flink吗8. 讲讲你的研究生课题9. 数据倾斜以及怎么处理10. 写一道sql吧（口述，挺简单的，窗口函数）11. 了解数分的东西吗12. 了解ab test吗13. 了解概率论吗14. 除了高斯分布以外的数据分布，了解吗15. 了解什么机器学习算法16. 了解什么分析指标，说课题中的指标或者项目中的指标都可以#牛客AI配图神器#17. 学习过程中有什么印象深刻的课程18. 讲讲join操作（说了spark的join）19. 有搭建数仓的经历吗？是如何搭建的（从数据获取，到数据存储，到分层搭建，到数仓调度运维）20. 反问大概是这些内容。面试官问了些数分的东西，但是确实不懂了。找实习以来的第一次面试，感觉准备还是不充分，数仓的东西问的不难，但是说的有些语无伦次了，还得练。#淘天暑期实习##数据仓库##数据研发#

先说说开窗函数是个啥吧。简单点讲，开窗函数（Window Function）是Hive SQL里一种特殊的函数，它能在不改变数据行数的情况下，对一组相关的数据行进行计算。啥意思呢？就是说，普通的聚合函数比如SUM、AVG啥的，用了之后会把多行数据聚合成一行结果，但开窗函数不会，它会保留每一行的原始数据，同时还能基于某个“窗口”（也就是一组相关的行）做计算。为啥说它在大数据处理中重要呢？大数据的特点就是量大、维度多、逻辑复杂。咱们在分析数据的时候，经常会遇到一些场景，比如要对用户行为数据按时间排序后计算累计值，或者要给每个部门的员工排名，或者要找出每个分组里的前N个记录啥的。这些需求如果用传统的...