数开岗，面的非常愉快一开始先介绍了面试流程1.自我介绍，挑实习经历讲一讲2.代码手撕3.八股考察4.QA环节直接介绍实习经历，没有自我介绍，讲了10分钟开始手撕。1.数据是真实数据吗2.来源系统是同一个系统吗了解了一下主要做的项目数据来源手撕：问了下比较熟的编程语言(java)连续子数组最大和多少知道虾皮是干嘛的吗SQL  求销量表，每个类别下售量TOP10的商品id排名连续怎么做衣服这一品类数据量特别多，导致数据倾斜怎么处理，只针对这一场景处理(二次聚合)给谁加随机值，怎么加，举例还有别的方法吗，只针对这个情景(压缩)你知道spark有做这件事吗(压缩)自己工作中会开这个配置吗spark和flink哪个比较熟，或者其他组件哪个学的好，可以自己挑个熟悉的来讲，还是随便挑个问1.flink状态后端知道哪些2.讲一下checkpoint是在干嘛3.如果状态后端是Rocksdb，checkpoint是怎么存的4.一个算子是怎么知道自己该做checkpoint5.从checkpoint恢复的时候，怎么做的6.一个算子，怎么知道恢复时应该读哪份文件7.看过checkpoint文件里面的结构吗8.有遇到过从checkpoint恢复时失败，是由于算子找不到从哪恢复的问题吗spark方面的问题1.executor, 他的内存分成几部分?堆内堆外内存区别为什么会有堆内堆外内存2.在shuffule的过程中，这几部分是否/如何参与其中3.节点0OM，我有哪些方法或者配置，去优化?最后反问总结，面试官全程态度超好，一直在说别着急，没问题，会有正反馈，体验最好的一次面试

投的数据工程岗刚进去讲了几分钟实习项目，直接和我说和岗位不匹配了。说他们想要c++功底比较好的，做底层框架开发，可能涉及到一些数据处理。和我做的数仓这块完全不匹配。。问我要不要接着面下去，还是和HR说看能不能调岗。最后也是结束面试了，没有浪费彼此时间

数开 1.spark SQL执行过程2.DAG图怎么划分，RDD是什么3.宽窄依赖怎么划分，哪些算子会生成宽依赖，哪些算子会生成窄依赖4.宽依赖partition怎么处理，怎么去减少shuffle5. spark相对于MapReduce的优势6.spark内存爆了，怎么定位是否出现这个问题，问题出现在哪7.具体看哪个指标才能知道是否是内存爆了，内存溢出会带来什么问题8.spark和flink做实时有什么区别9.水位线什么概念10.窗口关闭只能根据水位线来实现吗11.flink分哪几种窗口.实习项目拷打1.实习主要工作是什么2.数仓是指针对某一个业务做的数仓吗3.业务指标主要包括什么指标，做这个指标的目的是看什么，指标是怎么算的4.数据质控规则，具体规则是指什么5.数据校验规则是怎么做的6.数据质量达标率是怎么算的，口径手撕SQL：每个被举报视频品类中举报数量最高的5个视频反问

数据开发岗 秋招第一个面试，被狠狠拷打了1.spark和flink有哪些共性和区别2.你说到flink是一条数据一条数据的处理，那我们要对以前数据做聚合会怎么处理(状态机制)3.状态怎么进行恢复和使用(checkpoint机制，下游二阶段提交)4.为什么会有二阶段提交5.了解过二阶段提交机制怎么实现吗6.两阶段提交是保证卡夫卡提交和checkpoint机制同时完成，怎么去保证这个事情，状态保存在哪里7.flink针对kafka是怎么去传递两阶段结果的8.对spark有哪些自己的理解9.spark为什么能处理大规模数据集(高并发)10.多台机器处理，内存是比较宝贵的，数据过大，内存放不下怎么处理(写盘)11.spark当中结点分为那些类型12.大规模数据集，不断落盘，是写到同一个磁盘文件还是多个磁盘文件13.spark中间会一直生成小文件，如何处理14.什么是OOM，什么时候会出现OOM15.怎么去定位OOM出现在哪16. jvm, 内存模型17.spark SQL怎么执行(任务调度)18.底层资源调度是什么资源19.程序运行，内存放的什么东西，怎么管理内存，内存分配20. MySQL执行引擎21.什么是聚簇索引22.为什么要回表，什么样的操作会回表23.介绍什么是b+树24.知道平衡二叉树吗，什么是二叉树25.精准一次语义，kafka中有那些语义26.java这一块熟悉哪些内容，对java这块实现数据结构了解那些27.hashmap底层怎么实现，怎么去实现不可重复的，如果重复了怎么处理。hashcode和equals方法有什么区别和联系，如何判断是否和现有的key相同28.线程安全问题，什么是线程安全29.主要课程包括哪些30.大模型这块，transform架构了解过吗，用来做什么31.SQL题，求班级TOP5学生信息32.SQL锁机制，多个用户同时去写一条数据33.锁机制和事物区别34.什么是悲观锁什么是乐观锁35.乐观锁怎么实现36.进程和线程有什么区别，怎么去调度线程/进程运行，了解过协程吗37.一个进程中包含哪些部分，哪些数据38.讲一下堆和栈，栈有哪些应用反问后续，9.26约二面

先发笔试链接再挂我简历什么意思

数据开发-直播业务突然被捞1.自我介绍2.项目是根据什么业务场景来划分的3.对Hadoop的理解4.讲一下MapReduce的执行过程5.shuffle的必要性6.维度建模是怎么建模的，事实表和维度表有什么区别7.星型模型和雪花模型区别8.讲一下对维度的理解，如果从视频和观看时间来看，会怎么去区分事实和维度9.手撕1)观看不同视频个数前五2)观看不同视频个数大于五十的女生用户中，视频完播率前几的用户，完播率等于视频播完的个数/观看视频总个数讲代码过程又问了一点，数据去重的方法，count distinct 和group by区别

30min八股和业务，20min手撕1.自我介绍2.项目中业务数据用MySQL来存储，MySQL的事务有了解过吗3.b树和b+树区别4.慢SQL处理，sparkSQL运行慢如何处理5.hive和spark区别6. 为什么要有DWD层 如何构建的，有没有进行一些指标的分析7.DWS层作用，如何进行构建的，建表依据8.没有ADS层可以吗9.业务域和数据域什么区别，不同主题域是否会有重叠10.有接触过数据治理吗11.如果让你接手一个 数据治理项目，会从哪些层面着手12.ER模型和维度 模型区别13.MapReduce中有几个排序，有什么区别14.索引有什么作用手撕:连续登录大于3天用户ID有的记不清了，大概这些最后反问:当前阶段是加强对技术栈的理解更重要还是业务方面的理解答，对于学生阶段更应该深入技术栈，加强学习，以后工作可以加强对业务的理解作为面试官，在考察时更注重哪些层面的能力答，会更加看重对做的项目的理解，比如做一件事为什么要做这件事，为什么要用这种方法，看有没有进行这个思考，以及思考的深度

投的太多忘了什么公司了，打电话约面，面的时候发现偏推荐系统的业务，1.自我介绍2.项目太简单了，不太对口，面试官好像不太清楚数仓建模？问了点基础八股3.HDFS的组成架构4.HDFS读数据的流程5.MapReduce的执行流程6.spark的执行流程7.sparkSQL中map和flatmap的区别8.hive数据倾斜9.hive内部表外部表区别10.小文件处理11.flume结构12.flume丢失数据如何处理13.推荐算法做过吗，机器学习这类(在学校学过，做的不太多，分类回归预测这些)14. Hive和传统数据库区别(应该是HDFS作为存储数据库)15. HDFS副本机制16.spark on yarn和spark standalone区别17.Python和Java哪个用的多，用来做什么后面一直在问数据挖掘相关问题，感觉不是很对口，面试官说会反馈我这个情况，数据挖掘倒是也做过，和想找方向不是很统一。

广州奇点云小厂(100-499)面经-数开岗两个人面，都比较友好，没有给压力1.自我介绍2.讲了一下项目(用了哪些技术栈)3.数据倾斜4.小文件处理5.Spark为什么快6.hive内部表外部表区别，(如果想删除外部表以及内部数据怎么做)7.MapReduce执行过程8.orc存储格式，除了orc还有什么格式，什么区别9.为什么要分层，分层好处10.有用过Python处理数据吗，Python的pandas库和numpy库，常用函数11.hive动态分区12.行转列，列转行，说了一下思路13.简单的手撕SQL，统计累计值，开窗实现半个小时左右，问了一下主营业务，现在过去能参与到数据治理的项目，Python实现比较枯燥，写一些文档，这个项目搞完会有数仓的项目，但是实习不了太长时间，可能没办法参与到数仓项目里。说第二天上午再聊聊，二面。

1.自我介绍2. 数据倾斜3.SQL优化4.数仓维度分层建模(几种建模方式)星型模型，雪花模型，星座模型5.内部表外部表区别6.索引失效场景7.窗口函数理解8.CTE理解9.表同步方式，增量数据如何同步，如果没有时间字段如何同步10.接触过哪些关系型数据库11.表连接有哪几种就面了半个小时不到，没有录音只记得这些，说是做政务数据，用阿里的平台，主要是基于关系型数据库做开发，用分布式的少，问SQL比较多。

211本，海投只有小厂约面100-499，有的小厂看上去能接触到实际项目，和数开比较相关，但要求6个月以上，中大厂没有约面的，沉淀找秋招还是去小厂

跟着网上学的项目，怎么包装，求话术，项目贴近真实业务，本人没有实习经历😰，问数据来源根本不知道咋说