招银网络数据开发面经 已offer

这是阿里巴巴的一个研发岗位，涵盖一些大数据的笔试专业面试问题 #软件开发2024笔面经# 针对过往经历Q：字节确实注重数据驱动，这样子的决策方式可能会有什么问题？哪些决策没办法用这些方法进行验证？Q：结合过往实习经历，你现在想要帮商家提升GMV，你觉得该如何去进行提升？行为面Q：在这几段实习经历中，哪段需要联系各方的人推动解决问题的情景更多？Q：在合作过程中遇到比较多的卡点是什么，导致这个事情很难推动？Q：在沟通过程中，对你能力最大的挑战是什么？ #不给转正的实习，你还去吗#  #大数据#  #找实习多的是你不知道的事#

美团数开暑期实习二面 4.2445分钟左右。主要问项目和一些零散的八股，意外地没有编程题。项目:分层意义。卡住最长时间的一个问题，怎么解决的。ADS层指标举例，这个指标是怎么定义的，具体怎么实现的。Maxwell 增量同步的话，中间状态怎么处理的。为什么用HIVE，不直接在MySQL中进行分层处理，这样还不需要采集，答的不是很清楚，就说了个在hive的话可以并行处理。项目虽然很烂大街，但还是感觉不熟。最熟悉的几个组件，随便问了几个八股，比如MySQL 存储引擎，kafka零拷贝，没有深问。常用的Linux 命令，awk是干什么的。Java的一些知识:熟悉的数据类型；垃圾回收算法，full gc ；JVM内存划分，内存溢出，本地方法栈溢出；线程安全。闲聊:都很喜欢问为什么选择数据开发，为什么一二志愿都是数据开发，为什么没有选择国企那些；职业规划;可以实习的时间，导师会不会不放实习；优缺点。然后反问。

#软件开发2024笔面经# 阿里云数据开发岗位面试公司名称:阿里云面试岗位:大数据开发整个是大数据开发，我以为是数仓开发，结果问的全是Spark问题，被搞自闭了。1，自我介绍2，park中RDD的Task数量由什么决定?3，Spark怎么实现算子中的变量共享?4，Spark共享变量的使用条件?5，可序列化?连接池实例是在算子内还是在算子外?我一开始没想好，先回答了连接池的作业:是为了连接的复用，将可能会用到的连接通道给提前打开，存在大量通信请求场景时，可以用到连接池来优化整个通信过程的效率。我回答是 连接池实例应该在算子外创建和管理，这样算子共享相同的连接池。但面试官说让我好好想想。然后问我如果进行网络连接，是一台电脑连接还是多台连接?应该是在算子内，通常是因为数据不能或不应当在算子之间共享，或者存在连接泄漏的风险。例如，在使用HBase时，连接器必须在算子内实例化连接池中的连接，以确保每个算子在处理数据时都能获得可用的连接。6，习惯用的语言?Scala熟练不?对Scala有什么看法?7，为什么选择Spark来处理数据?因为非结构化的数据多吗?这是3面，整个流程大概花了50分钟，问的问题脉友一场，知无不言

Gaussdb是什么数据库Gaussdb和Doris有什么区别数据湖和数据仓库有什么区别hudi中你们用的哪种表类型hudi怎么实现实时数据更新的HIVE有哪些模块知道HIVE的thrift吗，有什么好处生产中是用哪种方式连接HIVE的，会用jdbc连接吗知道哪些spark的运行模式yarn-client和yarn-cluster的区别是什么，从中选一个运行模式具体介绍下select a,sum(b) where c>0 group by a。spark中是怎么实现的，你觉得这个语句什么情况下会出现数据倾斜，怎么优化它spark中小文件你怎么处理的我想将数据只写入到10个文件里面，怎么处理，distribute by cast(rand()*10 as bigint)怎么将a字段的值一样的数据写入到同一个文件，并最后只生成5个文件 distribute by mod(a,5)Spark中的Job、stage、task是什么关系spark的Job可以并行执行吗，stage可以并行执行吗，什么情况下stage可以并行执行，举个stage并行执行的例子Flink怎么处理积压的Flink的Exect-Once怎么实现的java的内存空间分哪些怎么让栈空间溢出，怎么让元空间溢出工作中会遇到内存溢出的问题吗内存溢出了你会怎么去分析知道哪些序列化方式，Serializable和protobufprotobuf与Serializable序列化的区别了解数据库连接池吗，是什么原理了解线程池吗，介绍下你知道的SpringBoot相对于Spring MVC的优点Spring中的注解了解哪些数据库的事务知道吗事务的隔离级别有哪些，默认是那种隔离级别你觉得你们公司目前有哪些方面可以改进的，比如工作上的改进、平台上的改进你工作中遇到了哪些难题，怎么解决的作为你的同事，你觉得你能带来什么好处你最近有去学习什么新东西吗，从中学到了什么为什么想来我司所在城市你未来的职业规划是什么#社招面经#