10.4-传化智联-数仓-一二面

Gaussdb是什么数据库Gaussdb和Doris有什么区别数据湖和数据仓库有什么区别hudi中你们用的哪种表类型hudi怎么实现实时数据更新的HIVE有哪些模块知道HIVE的thrift吗，有什么好处生产中是用哪种方式连接HIVE的，会用jdbc连接吗知道哪些spark的运行模式yarn-client和yarn-cluster的区别是什么，从中选一个运行模式具体介绍下select a,sum(b) where c>0 group by a。spark中是怎么实现的，你觉得这个语句什么情况下会出现数据倾斜，怎么优化它spark中小文件你怎么处理的我想将数据只写入到10个文件里面，怎么处理，distribute by cast(rand()*10 as bigint)怎么将a字段的值一样的数据写入到同一个文件，并最后只生成5个文件 distribute by mod(a,5)Spark中的Job、stage、task是什么关系spark的Job可以并行执行吗，stage可以并行执行吗，什么情况下stage可以并行执行，举个stage并行执行的例子Flink怎么处理积压的Flink的Exect-Once怎么实现的java的内存空间分哪些怎么让栈空间溢出，怎么让元空间溢出工作中会遇到内存溢出的问题吗内存溢出了你会怎么去分析知道哪些序列化方式，Serializable和protobufprotobuf与Serializable序列化的区别了解数据库连接池吗，是什么原理了解线程池吗，介绍下你知道的SpringBoot相对于Spring MVC的优点Spring中的注解了解哪些数据库的事务知道吗事务的隔离级别有哪些，默认是那种隔离级别你觉得你们公司目前有哪些方面可以改进的，比如工作上的改进、平台上的改进你工作中遇到了哪些难题，怎么解决的作为你的同事，你觉得你能带来什么好处你最近有去学习什么新东西吗，从中学到了什么为什么想来我司所在城市你未来的职业规划是什么#社招面经#

#软件开发2024笔面经# mapreduce运行流程spark hadoop区别mpp数据库怎么理解 优势是啥，你用过哪些mpp数据库pb级别数据怎么处理你是否使用过cube项目中你们用的什么模型，星型还是雪花 还是其他讲讲这几种模型的区别和优势为什么数据仓库不推荐使用三范式，你们用的范式建模还是维度建模你还有切莫想问的吗？ 你之后怎么规划路线的？有没有想好以后重点往那方面发展，准备就在上海么

👥 面试题目1.自我介绍，能不能从几个方面说一下项目2.有什么收获3.简历里面哪个技术学的最好4.spark的client模式和集群模式5.yarn6.能够重分区的算子7.为什么用rdd,不用df和ds，他们的区别8.为什么spark比mapreduce更快(磁盘io和进程线程模型)9.spark也会OOM和溢写磁盘啊，mapreduce也有缓冲区啊，都是内存计算，为什么更快(统一内存模型和流水线加载内存，面试官说没到点上)10.真实的优化经历，不要那些从网上背的八股11.什么是aqe12.为什么是动态调整，具体体现在哪方面(好像没说到他要的东西😭)11.hdfs查看文件大小命令，这个没答出来12.写一个SQL13.反问：技术栈和建议14.数据治理问题第一次面试太紧张了，话术出大问题了😭，说话不流畅，面试官说自我介绍不太过关，回答思路有些混乱了，要分点回答，多练练表达。

贝壳数开实习4.21再不记录就忘了。一面 40min+项目难点，怎么解决的。数据仓库的定义，分层的好处，维度建模。数据倾斜概念，解决方法。MapReduce过程。一道很简单的sql题。做数据开发需要具备的能力。问的八股挺少的，有很多聊天。二面 40min+疯狂拷打Java知识。怎么判断哪些需要回收，内存回收机制。kafka页缓存，怎么实现的，零拷贝怎么实现的，底层，为什么kafka能用页缓存和零拷贝。Spark为什么比MR快。进程和线程的区别联系，多线程和多进程的优缺点。还有好多不记得了……算法二叉树层序遍历。HR面 15min什么时候开始找实习的，现在面试流程走完的有多少公司；能够实习的时间，用三个关键词形容自己的性格，对工作地点的要求，职业规划，能够到岗时间和实习时间等常见问题。