双非硕，我太菜了，回答的不太好，20分钟草草结束1、介绍我的实习、做过的项目2、hive的两个服务3、namenode的高可用4、索引的数据结构、索引失效的原因5、java常用的数据结构6、hive sql过程优化7、hive sql转化为任务的过程8、hive有哪些执行引擎就记得这些了，基本只问八股，项目、实习都没咋问

1. 介绍实习做了什么？ 部署项目的过程2. xxl-job执行器怎么使用？ 写了哪些注解？  多个同名的jobhandler管理中心怎么识别？3. 队列元素怎么去重4. 慢查询流程5. 表(id,name,age,score) 想根据age查询name。  原sql： select * from table where age = xx.   分析性能，以及如何优化。6. 平常使用lambda，stream多吗？  介绍一下用法7. 联合索引条件先后顺序重要吗？8. 项目接口防刷，幂等性介绍10. mongodb数据量很大，这个数据我们可能想要丢弃一部分，丢弃之前的我要丢弃每次我都要丢弃一年前的数据，你有什么好的办法吗。11. kafka，rabbitmq如果要监听多个topic，要写多个监听器吗？

1、自我介绍2、你对数仓的了解3、数仓每层的用处是什么4、怎么分事实和维度5、用户订单表（交易表），设计一个ETL流程将其转换成用户的每日消费汇总表，怎么设计6、假如有一张表里头有两个一模一样的重复数据，如何去掉重复数据？7、如果有一个ETL任务运行缓慢，如何优化？——看物理执行计划，数据倾斜，索引，当时是否有别的任务抢资源，（面试官：没其他的了？）8、ETL任务过程中的数据发散问题9、你对你的职业生涯有什么规划？10、加班会比较严重，你觉得你通过加班能得到什么，获得什么？11、刚毕业的大学生经验不足，你觉得你能用什么样的方式去快速获得这些经验？（觉得我的规划不够突出）12、谈谈你对公司的了解和对未来的期望

1.对 Hadoop 各组件之间通信所使用的 RPC协议的具体内容2.Hadoop 中读数据的完整流程(包括客户端发起请求、与 NameNode 交互、与 DataNode交互等各环节)3.在数据传输过程中，若 DataNode 突然挂掉，Hadoop 系统会如何处理(包括任务重试、数据副本恢复等机制)4.HBase 源码的核心模块、关键类及底层实现窪捞轶货嶍瑛冶辑(如数据存储、读写流程等相关源码细节)5.在 HBase 中构建二级索引时，通过何种方式或机制保证索引数据与原始数据的一致性(如事务控制、同步更新策略等6.JVM 的具体架构(包括程序计数器、方法区虚拟机栈、本地方法栈、堆等组成部分);堆内存的划分的原理及适用场景;以及平时实际工作中是否会调整GC算法调整的依据是什么7.JVM 参数中，-Xms(初始堆大小)和-Xmx(最大堆大小)仅设置其中一个，与同时设置两个且值相同的情况下，对 JVM 运行产生的具体区别8.如何通过命令或工具查看当前 Java 进程中内存各代(新生代的 Eden 区、Survivor区，老年代等)的内存占比情况9.用于查看 Java 进程中线程堆栈信息的具体命令(如 jstack 等)及使用方法10.如何查看 Java 进程中某个对象的具体大小包括对象本身及引用的对象所占用的内存)，可使用的命令或工具及操作步骤11.排查堆内存泄露的方法，除了将堆内存Dump 出来用MAT(Memory AnalyzerTO01)分析之外，还有哪些更简单直接的排查方式

1.项目介绍2.实习内容询问，角度有点偏，感觉面试官不是很懂java3.有无MySQL索引优化经验，说了实习的一段经历4.https的过程，中间对我所说的非对称加密构建会话秘钥不理解5.有无接触过java大数据开发，说无，因为之前介绍过实习做的doris业务，被面试官指正6000万级的数据量并不大6.介绍下过往设计模式的运用，解决什么问题的7.手撕，“我们来做个java题目吧”8 .反问环节，此时才面了30分钟出头

一面时间10.29面试了50min，但面试过程中网络经常出问题1、自我介绍2、你觉得大数据专业和计算机科学等专业有啥差异？3、你觉得哪门你的印象比较深刻、对你的影响比较大？4、你觉得大数据和传统数据库的主要区别在哪？5、你觉得事务是什么意思？举个例子6、你觉得整个事务是单纯数据库就可以完成的吗？7、事务能够解决怎样的问题？为啥需要事务——》什么情况下会出现幻读、脏读——》为什么大家不能一个一个读呢？——》并发8、大数据中有并发这种东西吗——》（有时候解决一个问题是靠技术解决，有时是靠一个规范，有的是使用模式）——》数仓怎么解决这个问题？——》（面试官）从技术层面上来讲早期HDFS是有这个问题的，并行写是有问题的，但这个问题是可以忍受的,一是因为不太用的到并发，实际数仓建设中一个表里在一定时间基本只有一个东西在往里写（delete,insert），二是因为出了点问题是可以接受的，早期谷歌大数据搜索，现在记录日志，很少有数仓一边写一边读9、大数据在分布式上的作用是啥，从存储、计算的层面来讲哪些比较有特点——》你觉得100台1G的服务器比较贵还是1台100G的服务器比较贵——》（面试官）100台服务器一直都是比较贵，电力、散热等，但不怎么容易坏——》Yarn解决的啥问题——》啥是计算资源——》讲讲Spark的计算这块介绍一下10、场景：你到现场，没有任何数据平台，给一份文件（数据量极大，以京东白条这种为例），第一列是时间，第二列是用户人名，第三列是消费金额，我现在要做个排序，找出单日消费前10的人，服务器上性能较一般，但啥语言工具都有，你会怎么解决？——》你觉得并行和并发有什么区别——》（面试官）一个大数据任务本质上处理方法是一样的，无非节点多就并行做，节点少就串行做，节点不多不少就整体并行，每个并行里是串行。11、聊聊你的离线数仓——》为什么企业要建数仓？——》数仓分层的依据——》ODS的中文是啥（回答错了）——》如果ODS和数仓只能留一个，你准备留哪个？（回答错，实际是保留ODS）——》你既然回答的理直气壮，那你觉得ODS为什么还留着，为什么没被干掉？（面试官跳过了）12、你觉得数仓几个层要被干掉一个，你觉得哪个层要被合并——》DWS（？）13、你对维度建模理论有了解吗？——》你觉得维度建模理论提出是为了解决啥问题，为什么要搞维度表，事实表，为什么不搞个宽表，2、300个字段堆那？——》你觉得实际工作中宽表用的多不多——》（面试官原话）所以你觉得维度建模理论是扯淡吗（笑）——》你觉得谁喜欢宽表？——》（面试官）政府部门的人相当喜欢宽表，实际工作环境中，不查数据，一般都是要求下载为excel，他只关心本部门的数据，那个数据没有那么多，他也不会写SQL，就要求你整到一起下载到excel让他去操作。（面试官）为什么这些理论和实际差别很大呢——》早期数仓很贵ODS最大的价值——》万一领导马上就要数据，数仓来不及跑，可以直接从ODS拿，像泄洪闸一样的方便的东西，另外一般参与ODS建设的人的资历比较老，ODS可以减小，但不能被干掉。面试官建议：你的逻辑能力、学习能力都不错，再找个方向去积累，数仓有些没那么牛，但可以做很久。

1.目前所在地在哪?现在有课程安排?2.面试官介绍面试的流程。3.自我介绍。4.sq1题(口述回答):要取年至今所有用户的首次及未次下单时间。5.如果在此基础上，还要求出首次及未次下单时间对应的订单 id、商品id等，应该如何处理?6.了解row_number吗?7.介绍一下实习公司的业务/产品?8.讲一下你做过的任何一个优化案例?9.有其它关于计算资源、存储的具体优化案例吗?10.介绍-下spark问题定位的流程?11.介绍一下项目涉及的核心指标?12.项目中部分指标是怎么做的(计算逻辑)?13.有没有考虑过为啥要做这些指标?14.有接触过实时项目吗?15.为什么要数仓分层?16.维度建模有哪些模型?17.有了解过大模型吗?有做过算法题吗?18.sq1题:求出所有成绩均大于80分的学生姓名?19.讲解一下代码的思路?你写的代码可以如何优化20.知道distinct和group by的区别吗?21.什么时候能到岗?22.反问环节。

1.WordCount 具体是怎么跑的?比如怎么分片、map 阶段做了啥、shuffle 是咋回事、reduce 最后怎么汇总的2.MapReduce和Spark 到底差在哪儿?适用场景这些都得对比着说3.Spark 提交任务时，Client模式和集群模式有啥不一样?比如 Driver 在哪跑、日志在陖瞎圈看、适合啥场景4.同一条 SQL，为啥 SparkSQL 跑起来比HiveSQL 快?得从执行引擎、优化器这些底层说说原因5.自定义 UDF 怎么实现?比如在 Hive 或Spark 里，具体步骤是啥，有没有踩过坑6.设计 HBase 表得注意啥?rowkey 怎么设计才合理、列族要不要分、版本数怎么设，这些睪腘狐旨を曽斷纰可能问到7.HBase 里的 HLog 是干嘛的?跟数据持久化、故障恢复有关系吗8.都是存在 HDFS 上的数据，为啥 HBase 能支持在线实时查询，Hive 就不行?底层存储结构不一样在哪9.用 SparkSQL 操作 Hive 数据时，有没有縈区堠浓ゴ壮攥到过兼容性问题?比如某些函数不支持、数据格式读不对之类的，怎么解决的10.Spark Streaming、Storm、Flink 这几个流处理框架，区别在哪?各自的优缺点和适用场景得搞明白场景题:11.数据量特别大，要用三个 Map 和一个Reduce 来做 Top10，哪种方法效率最高?得考虑怎么减少数据传输、避免倾斜

5分钟项目介绍，15分钟手撕1.查询最近一年连续登陆超过7天的用户10分钟问实习2.实习中业务项目从数仓建模到落实的每个环节行动(正常回答)3.你觉得数仓建设的标准是什么，怎么判断数仓做的好还是不好(应该是贴近业务、数据准确、灵活拓展)4.了解一些大数据引擎的原理和源码吗(开始懵逼，说了个spark)5.对spark的原理讲述反问反问业务、加ai的浪潮、作息、可以提升的点(对大数据更了解一些)

1. 自我介绍2. 是否有过从事大数据的相关工作经历，项目活动也可以算3. 对大数据岗位的理解4. 追问了一些项目细节5. 软件开发流程6. 本科毕设（面向的需求方是谁？）

项目拷打 1.请详细说明你当前所在公司日常进行数据统计时，主要采用哪些方式?这些方式分别适用于什么场景?例如针对实时数据统计、离线批量数据统计等不同需求，会选择不同的工具或方法吗?2.结合你参与过的具体项目，谈谈你是如何分析项目的业务数据结构的?请说明该数据结构包含哪些核心字段、表与表之间的关联关系，以及你是如何基于业务逻辑梳理清楚这些结构的?3.请问你有相关的数据处理或分析类实习经历吗?另外，你是否接触过非底层(如偏向业务应用层、基于现有平台进行数据处理而非搭建底层架构)的项目?如果有，请简要介绍项目背景和你的职责。4.Spark了解吗?5.从代码到输出结果，Spark引擎做了什么sql题目：表1:用户信息表(含id:用户唯一标识date:用户行为日期，is_new:是否为新用户标识，1表示新用户，0表示老用户)表2:红包领取记录表(含id:用户唯一标识，date:领取日期，time:领取时间，money:题目1:请编写SQL语句，计算"未领取红包的用户在未领取次日、未领取后7日的留存情况"(注:需先明确“未领取红包用户"的定义，即在指定时间范围内有行为记录(表1有数据)但表2无对应领取记录的用户，再计算该类用户在未领取红包日期的次日、第7日是否仍有行为记录(表1有数据)的留存率)。题目2:请编写SQL语句，完成以下两个指标的计算:(1)每日DAU(日活跃用户数):指每日有行为记录(表1中当日有数据)的独立用户数;(2)最近1个月内，3天连续登录的用户占比:即最近 30天内，至少有一次连续3天每日均有行为记录(表1中有对应日期数据)的用户数，占该月内总活跃用户数(表1中该月有至少一天数据的用户数)的比例。反问

1.挑一个项目介绍2.了解实习经历3.针对实习项目，问数据层次怎么分层4.数据分层的作用5.针对具体实习项目，说明业务逻辑6.说明实习项目的“订单量"这个指标从源头到产出的 ETL过程7.针对实习项目，复盘后最大的难点是什么8.复盘之后有什么收获9.你刚才说复盘收获是处理小文件，那么spark怎么处理小文件的?10.处理小文件有哪些方法，举例子11.hive冷热分离的方法12.你刚才提到了组里有做ec存储，你了解ec存储吗13.暑期实习有什么感受，转正了吗 15分钟14.了解spark的semi join吗，他是干嘛的15.了解spark的AQE，这是什么16.你刚才讲AQE提到了广播机制，这个在spark中很重要，讲讲广播过程呢17.了解网络吗?讲讲三次握手和四次握手区别。18.了解数据结构吗?讲讲0(nlog n)的不稳定排序算法Q1.求开方:给定排序算法。num=5.79，error=1e-8，求x使得abs(x^2-num)<error

1.AI项目:背景、过程、分层、架构、有哪些指标2.AI的召回率和准确率怎么计算3.DWM和DWS的区别4.Hadoop有哪些组件5.Mapreduce的过程6.数据质量监控7.数据治理怎么理解8.维护表总共有多少张,设置数据监控的有多少9.多天分区数据处理，UDF函数报错,怎么排查---日志，看哪一天的数据导致报错10.最近在学什么--CH+Doris11.Clickhouse和Doris的区别，使用场景12.AI方面的了解吗13.SQL,连续7+天登录

1.介绍一下项目以及项目中用到的一些大数据组件2.HDFS的文件存储格式有哪些?3.MapReduce过程，MapTask和ReduceTask个数怎么确定?4.MapReduce阶段哪些因素会影响性能?5.Flink和Spark Streaming的区别是什么?6.Kafka的消息传递机制是怎样的?7.大数据处理中的一致性、可靠性、可用性如何权衡?8.数据仓库和数据湖的区别是什么?9.Hive和传统数据库的区别?10.Spark如何进行数据倾斜的优化?

1.实习项目主要内容是什么?2.会java吗?3.说下数仓建模的分层4.说下维度模型5.星型模型和雪花模型的区别6.什么情况下使用星型/雪花模型更好7.HDFS读流程?原则是什么?8.了解spark吗?说-下宽依赖和窄依赖?9.了解 flink吗?10.hiveSQL怎么优化?11.搞成说明HQL的提交流程了机器学习的一些基本算法?12.英语口语可以吗?反问1.大数据开发是以java为主吗?2.基于前面的面试表现，如果想从事大数据开发有什么需要加强的?3.加强大数据组件的学习实习生有加班费吗?周末有，平时不会有

1.实习相关问题(实习做的主要是数据仓库湖仓一体相关的东西，比如读写外部服务器上的大数据格式文件这些东西)2.了解数据湖吗(hudi，iceberg这些)3.非结构化数据或者说多模态的数据用向量化存储，为什么能解决查询问题?4.设计一个向量数据库，需要哪些模块和核心能力?5.机器内存不够的情况下，如何取出几个大文件中出现频率最高的URL(搞底层的面试官真的很喜欢问内存不够，三面的时候问了同样的问题)6.刚才你有说到大根堆，实现一个大致的大根堆反问:业务和部门人数这些

1.实习项目主要内容是什么?2.会java吗?3.说下数仓建模的分层4.说下维度模型5.星型模型和雪花模型的区别6.什么情况下使用星型/雪花模型更好7.HDFS读流程?原则是什么?8.了解spark吗?说一下宽依赖和窄依赖?9.了解 flink吗?10.hiveSQL怎么优化?搞成说明HQL的提交流程了11.机器学习的一些基本算法?12.英语口语可以吗?反问1.大数据开发是以java为主吗?2.基于前面的面试表现，如果想从事大数据开发，有什么需要加强的吗

1.短期和长期方向为什么选大数据开发2.数据开发的核心价值，和对岗位的认知3.数据岗位的人员应该有什么样的能力4.宏观角度看数据的处理流程，该了解哪些技术栈5.实习期间遇到的最大问题和解决办法6.清晰介绍实习项目的业务逻辑简单题和编程 40 分钟Q1.给定sq1语句:7.问索引加在什么字段会提高查询速度8.内连接join是小表驱动大表还是大表驱动小表9.sq1执行顺序:where->J0IN->GROUPBYか香Q2.给定两个一对多的表A和B。10.问A left join B有哪几条结果Q3.给定sq1语句。11.问有多少个Map Reduce过程Q4.sq1编程，求表的互关对user love1 22 11 3返回（1，2）即可反问

10.13 忘了发了拷打项目，和市面上常用的有什么区别？当前公司常用的统计数据方式有哪些？分析项目的业务数据结构？有实习吗？有不那么底层的项目吗（？）Spark了解吗？从代码到输出结果，Spark引擎做了什么（紧张了没答上来）SQL题：表1：(id, date), is_new表2（领取红包记录）：id, date, time, money未领取红包的次日、7日每日DAU，最近1个月3天连续登录占比反问：建议：从整体解决方案出发，多了解业务链路更多理解应用、架构，基于平台来处理数据数据建模要加强，上下游链路多了解底层：了解源码、如何优化（Data Infra）、底层架构能力追问：现在在哪，什么时候毕业？（我还以为有机会。。。。）