初试：1.数据库索引相关2.数据库事务3.锁，死锁4.hadoop，join的mr过程5.数据倾斜及解决方案，如何采样大key不人工分拆6.clickhouse，了解哪些其他olap数据库7.数仓建模，事实表，维度表8.一个新业务如何从0构建数仓9.实习中遇到的问题，怎么解决的10.sql 总体难度不大，但是我老是细节有问题二面：1.sql查询clickhouse过程，clickhouse相关，其他olap了解多少2.设计数仓表3.实习经历相关，了解哪些大数据前沿方向三面：场景题，结合实习工作内容好的数仓是怎样的数据质量，及时性如何保证了解哪些大数据前沿方向职业规划为什么不读研个人评价编程掌握化身鹅黑了#暑期##腾讯##数据开发工程师#

自我介绍：是怎样的人，有怎样优势，做怎样改进岗位是否匹配预期介绍工作内容业务方沟通需求整理数据，提出数据，可视化提供给业务方能力：沟通，数据分层实践数仓了解多少机器学习拷打SQL考察思维题什么是数据分析面试官简述数据分析理解反问

#软件开发2024笔面经# 阿里云数据开发岗位面试公司名称:阿里云面试岗位:大数据开发整个是大数据开发，我以为是数仓开发，结果问的全是Spark问题，被搞自闭了。1，自我介绍2，park中RDD的Task数量由什么决定?3，Spark怎么实现算子中的变量共享?4，Spark共享变量的使用条件?5，可序列化?连接池实例是在算子内还是在算子外?我一开始没想好，先回答了连接池的作业:是为了连接的复用，将可能会用到的连接通道给提前打开，存在大量通信请求场景时，可以用到连接池来优化整个通信过程的效率。我回答是 连接池实例应该在算子外创建和管理，这样算子共享相同的连接池。但面试官说让我好好想想。然后问我如果进行网络连接，是一台电脑连接还是多台连接?应该是在算子内，通常是因为数据不能或不应当在算子之间共享，或者存在连接泄漏的风险。例如，在使用HBase时，连接器必须在算子内实例化连接池中的连接，以确保每个算子在处理数据时都能获得可用的连接。6，习惯用的语言?Scala熟练不?对Scala有什么看法?7，为什么选择Spark来处理数据?因为非结构化的数据多吗?这是3面，整个流程大概花了50分钟，问的问题脉友一场，知无不言

1.自我介绍2.对公司有没有了解3.inner join的底层实现，有哪些算法4.两个数组，数组的大小都在数千万级以上，但是值域是在一千万以内，找到两个数组相同的元素（说了bitmap）换了部门负责人来面试5.有了解过数仓整体的架构吗（面试官说现在是存算分离，实时和离线一体）6.有写过UDF吗，当时的场景是什么样的7.假设现在用的是yarn，pyspark从提交文件到让代码分布到各个节点上的过程（面试官说主要关注driver中的代码和数据怎么和java线程交互）8.为什么从大厂离职当场通过已OC