数据开发面经

总共就一面，一个技术人员，一个HR，两个人一起面已oc1.自我介绍2.哪里人3.实习主要参与工作4.数据采集用的什么工具5.数据分层优点，每一层是怎么样的数据6.对Hadoop熟悉吗，有自己部署过吗7.高可用有搭过吗8.secondary NameNode作用与NameNode区别9.Hadoop和Doris有什么差别10.flink主要用来做什么11.flink cdc用过吗12.用的哪个flink运行模式13.了解MR的shuffle吗，为什么要去做shuffle14. MR和Spark差别15. 数据倾斜问题，解决方案16.什么途径了解到公司17.是否接受长期出差18.工作地，加班

数据开发岗 秋招第一个面试，被狠狠拷打了1.spark和flink有哪些共性和区别2.你说到flink是一条数据一条数据的处理，那我们要对以前数据做聚合会怎么处理(状态机制)3.状态怎么进行恢复和使用(checkpoint机制，下游二阶段提交)4.为什么会有二阶段提交5.了解过二阶段提交机制怎么实现吗6.两阶段提交是保证卡夫卡提交和checkpoint机制同时完成，怎么去保证这个事情，状态保存在哪里7.flink针对kafka是怎么去传递两阶段结果的8.对spark有哪些自己的理解9.spark为什么能处理大规模数据集(高并发)10.多台机器处理，内存是比较宝贵的，数据过大，内存放不下怎么处理(写盘)11.spark当中结点分为那些类型12.大规模数据集，不断落盘，是写到同一个磁盘文件还是多个磁盘文件13.spark中间会一直生成小文件，如何处理14.什么是OOM，什么时候会出现OOM15.怎么去定位OOM出现在哪16. jvm, 内存模型17.spark SQL怎么执行(任务调度)18.底层资源调度是什么资源19.程序运行，内存放的什么东西，怎么管理内存，内存分配20. MySQL执行引擎21.什么是聚簇索引22.为什么要回表，什么样的操作会回表23.介绍什么是b+树24.知道平衡二叉树吗，什么是二叉树25.精准一次语义，kafka中有那些语义26.java这一块熟悉哪些内容，对java这块实现数据结构了解那些27.hashmap底层怎么实现，怎么去实现不可重复的，如果重复了怎么处理。hashcode和equals方法有什么区别和联系，如何判断是否和现有的key相同28.线程安全问题，什么是线程安全29.主要课程包括哪些30.大模型这块，transform架构了解过吗，用来做什么31.SQL题，求班级TOP5学生信息32.SQL锁机制，多个用户同时去写一条数据33.锁机制和事物区别34.什么是悲观锁什么是乐观锁35.乐观锁怎么实现36.进程和线程有什么区别，怎么去调度线程/进程运行，了解过协程吗37.一个进程中包含哪些部分，哪些数据38.讲一下堆和栈，栈有哪些应用反问后续，9.26约二面

数开 1.自我介绍2.维度模型建设说一下3.让你对事实表分类会怎么做4.事实表分为哪几类5.多表关联类型(包括semi join)6.关联策略7.开窗介绍一下(细节，和常用函数)8.自定义函数用过吗，有哪几种类型9.Doris表模式10.说一下superset11.flink怎么保证端到端的一致性12.spark  rdd13.依赖怎么划分14.手撕SQL：每个视频创建者的姓名，uv，PV以及PV占比反问

一面 1.自我介绍2. 最常耗时的一个SQL，怎么定位这个问题，包括怎么去做的优化。3. 有考虑过索引的优化吗？4. 同学在跑SQL的时候有没有explain这个SQL去看一下它的执行计划呢？5. 假如explain发现SQL执行计划没有错乱、没有不合理的情况，但实际上跑的还是很慢，同学有考虑过这是为什么吗？6. 同学怎么去判断到底是资源不足导致的慢，还是数据倾斜导致的慢呢？7. 能不能从Spark SQL的内部角度谈一下，一个SQL怎么从字符串变成最后可执行的task的？8. join的优化会影响在哪一层上吗？比方说a join b改成b join a，实际影响的是哪一层的执行计划9. 怎么去判断一个Spark任务是否存在倾斜10. 除了Spark UI，根据业务判断，可不可以从SQL特征上判断出数据倾斜呢？11. group by数据倾斜12. join的倾斜是怎么处理的，聚合的倾斜是怎么处理的。13. 加盐的话会有什么副作用吗？14. 加完盐之后能一次得到结果吗？15. 如果倾斜的key占到整个数据的大概70%，用broadcast的方式不行，同学会考虑怎么办呢？16. 在Spark内部，broadcast之后是怎么实现的？广播的数据存在哪儿？使用的是什么数据结构呢？17. 同学有了解过broadcast这张表过大的话，Spark会怎么去控制这个情况发生吗？18. 如果broadcast的阈值设置不合理，比方说设成了1G，会有什么情况发生呢？19. driver会因为broadcast表过大而发生OOM吗？20. orc相比text file，在执行层面会快在哪？为什么要用orc而不用text file，优势在于哪？21. 除了压缩、列式存储，orc文件的结构有什么特征吗？22. orc与parquet优势在哪，缺点在哪？。。。。。。实习相关内容36. 有一张员工表，字段是员工ID和薪资，希望通过SQL找到里面第二高的工资是多少？不用窗口函数该怎么实现呢？37. 同学有了解过Java的内存模型吗？38. 同学有了解过Java的hashCode和equals之间的关系吗？39. 同学有了解过Java的类加载器的相关内容吗？比方说分为几种类加载器，加载顺序是什么样的？40. 同学对垃圾回收机制有了解过吗？有了解过CMS和G1吗？41. CMS的缺点是什么呢？为什么它扫描时间会很久呢？CMS不是并发的吗？42. 同学常用的OLAP引擎是什么？43. 同学有了解过Doris的tablet是什么吗？44. Doris的分区和分桶有什么区别吗？45. 分区和分桶各有什么好处呢？46. 同学有了解过实时相关的概念吗？了解过Kafka的topic和partition之间有什么关系吗？47. Kafka里面的offset同学有了解过它是干什么用的吗？offset是全局的还是分区内的？48. 有一个场景：MySQL里有一张20亿数据的表，不使用任何数据同步组件（比如canal、maxwell、flink cdc等），怎么把数据从MySQL迁移到Hive或者Doris里面？49. 在读取MySQL数据做分批迁移的时候，怎么分片读呢？比方说表里面有一个时间字段，该怎么利用？编程题：二叉搜索树转化为双端链表二面1.自我介绍2.实习介绍3.数据治理怎么做的SQL题：已知数仓表 t 的结构包含：uid（int）vid（string）start_time（yyyy-mm-dd hh:ll:ss）end_time（yyyy-mm-dd hh:ll:ss）dt（分区字段）hour（分区字段）数据样例：uid=100043435，vid=f1ewmkflgkl2ds，start_time=2025-12-24 18:06:18，end_time=2025-12-24 18:17:25，dt=2025-12-24，hour=18。求出一天内每5分钟的视频播放量top10最终结果start_time    end_time    top1000:00            00:05        ....00:05            00:10        .........4.java抽象类和接口的区别5.什么情况用抽象类什么情况用接口5.java 中lock和synchronized的区别6.编程题：实现一个滑动窗口数据结构，支持实时评算窗口内的最大值、最小值和平均值。第二问：求最大值、最小值不用数据结构、排序、组内遍历，还有别的实现方式吗一面问麻了二面炸缸了

数开岗，面的非常愉快一开始先介绍了面试流程1.自我介绍，挑实习经历讲一讲2.代码手撕3.八股考察4.QA环节直接介绍实习经历，没有自我介绍，讲了10分钟开始手撕。1.数据是真实数据吗2.来源系统是同一个系统吗了解了一下主要做的项目数据来源手撕：问了下比较熟的编程语言(java)连续子数组最大和多少知道虾皮是干嘛的吗SQL  求销量表，每个类别下售量TOP10的商品id排名连续怎么做衣服这一品类数据量特别多，导致数据倾斜怎么处理，只针对这一场景处理(二次聚合)给谁加随机值，怎么加，举例还有别的方法吗，只针对这个情景(压缩)你知道spark有做这件事吗(压缩)自己工作中会开这个配置吗spark和flink哪个比较熟，或者其他组件哪个学的好，可以自己挑个熟悉的来讲，还是随便挑个问1.flink状态后端知道哪些2.讲一下checkpoint是在干嘛3.如果状态后端是Rocksdb，checkpoint是怎么存的4.一个算子是怎么知道自己该做checkpoint5.从checkpoint恢复的时候，怎么做的6.一个算子，怎么知道恢复时应该读哪份文件7.看过checkpoint文件里面的结构吗8.有遇到过从checkpoint恢复时失败，是由于算子找不到从哪恢复的问题吗spark方面的问题1.executor, 他的内存分成几部分?堆内堆外内存区别为什么会有堆内堆外内存2.在shuffule的过程中，这几部分是否/如何参与其中3.节点0OM，我有哪些方法或者配置，去优化?最后反问总结，面试官全程态度超好，一直在说别着急，没问题，会有正反馈，体验最好的一次面试

1.自我介绍2.项目拷打3.数仓分层建设是怎么理解的？每层有什么作用4.讲一下指标体系5.根据医院的整个流程 你觉得能分析出哪些指标？6.flink的双流join7.left join会不会产生回撤流8.数据采集怎么保证端到端的一致性9.sql题（面试官要求按照图片做一道sql题，我看面试官出的是牛客上的还比较简单，我也是闲的，我说我直接在牛客上做吧，结果面试官看到我做了挺多题，让我从困难里面选一道，我随机选了个通过率比较低的，做起来挺麻烦的，15分钟没做出来）10.反问（反问的时候问面试官有什么给我的建议吗，不耐烦的说了句没有，我也懒得问了）总之：感觉面试体验比较差，面试官摄像头也不开，估计被当kpi刷了

一面 1.项目拷打2.讲讲项目中重要的表3.数据清洗是怎么做的4.Spark中Driver和Execture，如果要计算比较大的表应该怎么分配内存5.如果我要广播一个100M的表我应该考虑哪些内容？6.Spark中默认广播大小是多少7.讲讲宽窄依赖8.宽依赖算子9.map跟mapPartition的区别10.hive中动态分区跟静态分区写入数据的区别11.flink一致性语义是怎么做的12.flink怎么处理迟到数据13.如果迟到1 2 个小时的数据，应该怎么处理14.水位线有哪几种？15.SQl题目 求出至少连续3次出现的数字16.项目中收获最大的是什么17.工作场景中，作为新人遇到一些问题，该怎么解决18.如果很多需求方都来需求，任务很紧急该怎么办19.反问HR面1.技术是学校课程还是自学的？2.往数据开发方向学习的原因3.java跟python的区别4.对数据工程师岗位的理解5.对那个项目理解比较深？6.项目主要做的工作有哪些7.项目比较耗费时间的事情是什么？8.项目中的困难点9.做项目中的成就感有哪些10.为什么选择深圳11.对实习有什么期望和想法12.目前投简历大概多长时间了13.反问

1.你用过哪些数据库2.那个数据库你比较熟悉3.项目数据来源4.讲一下你数仓中写过的复杂sql，都是这么写的5.如果这些复杂sql直接从原数据中进行统计，该怎么做？6.讲解一下ODS层跟DWD层7.ODS层跟DWD层之间有什么层吗？8.flink用过吗？9.flink跟spark的哪个实时处理好？10.实习单位有什么期望，在哪种环境中工作？11.你面过哪些公司，你对亚信了解吗？12.你熟悉Python吗11.反问面试官建议：加强sql能力，学会使用AI

二本数据科学与大数据技术，目前0实习，想找数据开发的岗位，也在犹豫转不转数分，目前投了一个多月只约到了一场面试，求高人指点

数开 疑似HR面面试官迟到10分钟，还喝奶茶。。1.之前的实习没有拿到转正吗2.说一说在实习过程中印象最深刻的一件事3. 实习中最大难点是什么4.这个工作主要有多少人负责做5.自己设计了多少张DWD DWS表6.表的主键是什么7.DWS表主要做了什么8.有关用户的表做了哪些操作9.技术上的遇到的困难，难点10.实习有什么心得11.哪里人，家里情况12.做重大决定时会考虑哪些人的意见13.兴趣爱好，为什么选择这件事14.项目是独自完成还是组队15.对人生影响最深刻的一个人16.从哪些渠道了解招联的，认为招联是个怎么样的公司17.未来三五年规划18.有其他公司offer吗反问

1.简单介绍下实习数仓分层架构，用到技术栈2.做一个指标，简单介绍下指标分析到下层产出，每一层的逻辑3.数据计算用的是什么框架4.ods层的表数据怎么来的5.数据质量规则核查是怎么做的6.数据核查是手动做的，还是质控系统做的7.有没有对Doris有进一步了解8.spark的相关理论有了解过吗9.spark任务提交到集群上的执行流程10.用spark的时候有没有遇到一些问题，怎么解决11.flink三种运行模式介绍一下12.未来1-3年规划

数开 1.spark SQL执行过程2.DAG图怎么划分，RDD是什么3.宽窄依赖怎么划分，哪些算子会生成宽依赖，哪些算子会生成窄依赖4.宽依赖partition怎么处理，怎么去减少shuffle5. spark相对于MapReduce的优势6.spark内存爆了，怎么定位是否出现这个问题，问题出现在哪7.具体看哪个指标才能知道是否是内存爆了，内存溢出会带来什么问题8.spark和flink做实时有什么区别9.水位线什么概念10.窗口关闭只能根据水位线来实现吗11.flink分哪几种窗口.实习项目拷打1.实习主要工作是什么2.数仓是指针对某一个业务做的数仓吗3.业务指标主要包括什么指标，做这个指标的目的是看什么，指标是怎么算的4.数据质控规则，具体规则是指什么5.数据校验规则是怎么做的6.数据质量达标率是怎么算的，口径手撕SQL：每个被举报视频品类中举报数量最高的5个视频反问

滴滴国际化数据开发急招实习生，要求26届，5月底到岗日常实习，非秋储，门槛比秋储低，有转正hc可直接私引流

问获取电池电量信息后，spark怎么计算平均耗电（？）速率上来第一个问题，我没重视随便答了一下用DataFrame存储，然后用SparkSQL处理，计算差值什么的（感觉应该是不太满意）面试官给的场景题，描述的非常模糊，大致意思就是收集到每10分钟的电车电池剩余电量的数据，问我用Spark怎么算电池消耗速率求大佬解析，主要是不清楚面试官想考的是什么，挂的也是云里雾里9.10 一更：现在想想， 第一题可能是： 先切分分区，然后看有无数据倾斜，如果有加盐打散 然后开始预聚合（大概） 然后就考虑按什么聚合，什么业务需求 估计还要sort merge join，归并排序+溢写9.12 二更：现在想想可能...

1.你熟悉sql吗2.sql表关联有哪些3.join分类4.case when了解吗5.开窗函数中的排序函数6.问项目7.问比赛8.问几号入职9.口头offer电话面，问的挺简单的，又口头发offer，有点快，内心慌慌的

面试时间：2025.09面试部门：用增timeline：09.23一面，次日挂一面（1h）面试官介绍业务自我介绍+实习经历介绍如何评判数据质量的好坏数仓建模理论介绍说一下你认为的数仓建模理论中最重要的三个点数仓分层是怎么做的sql场景题：用户信息（视频信息）/视频信息（kafka）/用户浏览/点赞日志（log）设计数仓分层，有哪几层，每一层有哪些表 b. 计算指标：各城市用户浏览/点赞情况 c. 如果大量user_id=0，是否会有数据倾斜，如何判断并定位数据倾斜，如何解决数据倾斜 d. sql实现加盐方式（扩容+打散）本来还要做一道算法，时间不够了，就问了下mr shuffle的排序方式，然...