数据开发工程师面经

1、实习的工作是什么？2、SQL调优有哪些？3、介绍一下项目，主要做什么工作？（项目介绍还不顺畅）4、为什么学大数据？5、项目里的Flume是怎么用的？6、TailDir为什么可以断点重传？（面试官说不能）7、Linux什么指令可以监听文件？8、Flume的事务是怎样的？（因为上一题提到了事务） 9、Kafka的基本架构？10、RXR队列（不知道是什么东西）11、Kafka的partition副本写数据是怎么写的？12、Kafka副本的leader是怎么选出来的？13、有没有了解Kafka的架构设计？14、讲一个最熟悉的集合？（答了HashMap）15、ArrayList是怎么实现的？Link...

1、 项目一直挖2、 Spark调优3、 Shuffle之类的优化4、 平常写SQL注重优化之类的问题5、 第一道题让看下面Java代码写输出。 private static void test(int[] arr) { for (int i = 0; i < arr.length; i++) { try { if (arr[i] % 2 == 0) { throw new NullPointerException(); } else { System....

1、 你转正了吗？2、 挖项目大概30分钟3、 详细讲项目，分几层，遇到的难点等问题4、 主要想问数据储存，数据计算，配置参数，对Spark如何配置5、 T+1生成数据但下午才生成数据，你的排查思路？6、 数据倾斜你如何解决，小文件你如何解决？7、 你们北京、上海这种订单量很大，按省份分区数量大，你如何解决？ 8、 讲讲Doris9、 反转链表10、 二叉树中序遍历11、 写非递归二叉树中序遍历12、 写SQL，date、dept、name、work_time，四个字段的表，求最近一个月内每个部门的平均工作时长前三的员工。

10.8 投递简历（大数据开发岗位 base西安 有成都岗？ 我怎么没看到）10.10-12 笔试11.05 一面有五六个面试官 问了问题的有两个介绍了下项目，问了些每个组件的基础知识，都是大数据的基本八股文sqoop分隔符 flume数据一致性 拦截器 数据倾斜 hbase rowkey三大原则 hive内外部表11.13 二面挖了下数仓项目，本科项目，问了些安全问题，为什么本科研究生都是安全方向会选大数据有个好像是HR的小姐姐问了下 offer情况啊 base地点（说有成都？） 期望薪资啥的11.22 面谈（两个人）hhh 笑死我了 HR第一句 同学们我确认一下你们的意向地点都...

1、 确认专业，保研，成绩，排名2、 课程内容，研究生课程等3、 数据库底层索引的优劣势？4、 我现在有一张表把所有字段都加索引了，这样好吗？5、 存储过程和视图？6、 视图字段是单独存储的吗？7、 MR原理用你自己话简单描述。8、 MR中数据倾斜的产生情况，你如何解决？9、 一个复杂的SQL中发生了数据倾斜，你怎么确定是哪个group by还是join发生的？10、 count（distinct）怎么优化？11、 实时了解多少？12、 实习期间所做的事情？13、 这个项目的背景、技术方案、难点、结果？14、 维度建模理论？15、 你所说的粒度，要怎么建设呢？16、 总线矩阵是什么？17、 问...

1、 实习项目—自己的工作体现？2、 数仓从底层到顶层全链路？3、 你在项目中做了哪些调优？4、 数仓分层理论？5、 用什么开发？6、 底层计算引擎是MR？7、 问Hive和Spark区别和优劣势？8、 Spark有没有什么不好的地方？9、 Spark参数调优？10、 开始问语言，学过C++或C吗？11、 用Java做啥？12、 写过UDF吗？13、 Python做啥？14、 用过哪些包？15、 数据结构用过哪些？16、 用过hash吗？ 17、 HashMap？和Map有啥区别？18、 为什么叫HashMap？19、 两个栈实现一个堆。20、 冒泡排序。21、 求每个部门的工资前三名的员工。

1、实习的工作内容是什么？2、有写过UDF吗？如何实现UDF？3、UDF要成为永久函数怎么做？如果不加temperory，函数下次还能用吗？4、UDTF了解吗？5、Hive的窗口函数有了解过吗？6、开窗函数Over()中有没有orderby有什么区别？7、汇总数据开发是怎么做的？（实习工作）8、Flink任务的并行度和内存怎么设置的？9、Flink的TaskManager内存模型了解吗？10、Flink最新版本是多少？新旧版本有什么区别？11、有没有了解过Flink的窗口函数？12、离线数仓做了什么工作？13、数仓为什么要分层？14、实时数仓也要像离线数仓那样分层吗？15、开发数仓的过程中有哪...

1、 目前研究的项目，对数据的处理？2、 你怎么理解数据挖掘？3、 平时用啥数据库？4、 3NF？5、 深剖数仓项目6、 讲一讲项目？7、 数仓表哪里用到了3NF？8、 是2NF吗？9、 数仓模型？10、 事实表和维度表都有啥？11、 下单业务中怎么记录下单了但未支付的行为？12、 拉链表用过吗？ 13、 留存率怎么实现的？14、 连续的还是间隔的？ 15、 今天算出来的留存率算今天分区还是昨天分区？ 16、 用过hive的排序吗？row_number()、rank()、dense_rank()有啥区别？17、 distinct和group by用哪个好？18、 groupby的MR执行流程？...

1、讲一讲你的数据项目？2、这个项目是你自己开发的？这是你实习做的吗？3、Kafka的用处？4、数据仓库的五层？5、3NF？6、维度建模？7、Java之路开始8、ArrayList和LinkedList的区别？9、HashMap的底层实现？10、ConcurrentHashMap并发的底层实现？11、答出CAS就问原理和全称？12、线程池使用？13、BIO，NIO？14、GC？15、JVM的组成？16、对象的创建流程和销毁？新生代老年代？17、Hadoop生态？18、Yarn提交job流程？19、Spark都会啥？20、Spark在Yarn运行吗？还有啥？21、会Flink吗？22、掌握理论知...

线下群面：五分钟读题，然后每人简单自我介绍+说出对题目的答案，然后讨论20分钟，最后5分钟派一个人总结。题目：（2选1）1、如何构建数据中台？2、设计一个智能家居，应该有哪些功能？用什么技术实现这些功能？测评：性格测试+图形推理+资料分析二面：1、自我介绍2、详细介绍一下项目3、实习的数据框架和项目的数据框架有什么区别吗？4、数据采集还了解其他工具或架构吗？5、数据加工处理还了解其他工具或架构吗？6、数据对外提供服务还了解哪些工具？7、介绍一下实习中大数据开发的流程和规范8、编译原理、数据库原理有了解过吗9、做题，说思路就好：（不用借助其他平台，想思路就好）上百T数据，里面有手机号，有5台机器...

23.9.26 水滴公司自我介绍1.介绍一下阿里的数仓，阿里做的项目大致介绍一下2.数仓分层的好处有哪些3.数据倾斜怎么处理4.大数据组件，了解哪些，说一下mapreduce5.介绍一下了解的数据结构有哪些6.介绍一下用户画像项目，说一下用户画像基于hbase的好处两道题7.一道拿python融合两个顺序链表一道用sql查没门课的第一名23.10.8水滴二面基本问的纯业务项目写了个查找唯一值的sql将刚刚写的sql用python再写一遍现场根据业务场景，说出解决数据倾斜的方法 和策略

一面：电话面试1、自我介绍2、挑一个实习项目讲一讲3、项目里的数据是怎么处理的？4、数据研发选择哪一块？（数据仓库、数据平台、数据算法、数据挖掘）5、讲讲MapReduce的原理6、环形缓冲区为什么要反向？7、实习的存储计算用的是什么组件8、有金融相关知识的储备吗？反问：1、这一面算是第一面吗（是）？算专业面吗（是）？2、做什么工作的？（国外金融银行业务）3、用到哪些技术栈？4、希望候选人所具备哪些能力和特质？（金融相关知识，统计学相关知识）一面挂，个人分析原因是不具备金融相关知识，

包括快手一二面，字节一面，科大讯飞一面Hadoop常用文件格式Inmon 和 Kimball 建模思想有了解吗（我问是范式建模和维度建模吗，面试官说不是）spark有多少个driver和executor，如果给你2核100G(500并行度？好像是这个)有多少executorSql子查询和外部where执行顺序，你说子查询where先执行为什么不在join on一块执行呢(？是不是我和面试官沟通出了问题）维度表有哪些分类SQL改写MapReduceSql题写出了一半，请各位大佬帮忙连续登录天数，我只知道要排序日期再相减，之后再开窗countif但是面试官说不用count我就歇菜了table1us...

分享前吐槽：面试不开摄像头，面试官的语气跟快断气了一样……1、有了解web开发、后端开发吗？（无）2、线程和进程有哪些区别？3、怎么看一个正在执行的JAVA程序的线程状态？4、新生代和老年代主要是干什么的？比例是多少？5、HDFS的服务组成有哪些？它们分别的作用是什么？6、除了Hive之外，还用过其他数仓吗？7、Flink的窗口主要是干什么的？8、Flink的dataStream和dataset有什么区别？9、Flink的部署模式有哪些？分别说明一下10、Flink中三个不同的时间概念11、Spark中的分组算子有哪些？（reduceByKey，groupByKey）12、Hive什么情况下会...

1、 介绍自己实习、专业、项目等2、 实习项目的背景、目标、结果？3、 实习项目中你最成功的和最失败的是什么？4、 主管有和你说我们做什么业务的吗？5、 那你了解我们主要做的业务吗？6、 在你申请的岗位上相比于其他人你有什么优势？

时长：28min 1、自我介绍（说了实习期间做的工作，主要是做数仓） 2、面试官拿着简历开始问，问着问着我发现不对劲，     我：“您好，您是不是拿错简历了？”，     面试：“你不是XXX吗？”     我：“不是”     面试官：“稍等，我找一下，你继续说你的”。（我又把做了一遍自我介绍） 3、你说一下你在实习期间做的工作。。。（又说了一遍实习工作） 4、你说的都是业务上的问题，有没有技术上的问题？ 回答说解决数据在集群中的存储不均分算不算，然后就开始描述。 5、好，你有没有什么想问我的？      请问贵公司对校招生的要求...

1、 因为上一个面试时间长了些，我们加快一些。2、 为什么选择实习？3、 写完小论文了吗？4、 为什么选择阿里？5、 实习所作的工作？6、 实习的收获？

23.9.6 美团一面1.现在有一份数据，记录着几家门店一年中，每天的金额。年终盘算，每个门店多出来一部分金额，将这部分金额按原来的销售金额比例分摊到每一天，希望知道最终这几家门店每一天的销售金额。使用sql实现，后续问的都是业务2.数仓分层介绍一下3.整体数仓的建模流程说一下