【华为云3面】大数据开发

继续来分享下最近的面经~欢迎友好讨论，信息共享1.kafka消费者端如何保证收到了ack，kafka的生产者端如何保证消息送到了2.redis如何实现的主从复制，当一个节点挂掉的时候该如何知道这个阶段是否是挂掉的？redis的主从是如何同步的3.es的底层的数据结构是如何实现的？介绍一下eses的结构是什么样的呢？4.大文件上传和分片上传是如何实现的？5.为什么使用kafka？可以对比一些定时任务6.为什么用redis+lua脚本实现限流而不是用已经封装好的限流的操作7es具体是如何实现检索的8.为什么分片上传后，项目在MinIO中要合并呢？算法：二叉树的最大路径和

前几天面了滴滴的国外业务，3面技术终面，过了，面试如下1，先自我介绍2 说一下自己做过的项目，讲一下技术难点和亮点3 能说一下你们数仓建模的基建过程吗，为啥需要这样设计，这样设计有啥好处4 看你实时经验丰富，你能说一下如果实时指标和离线指标不一致，怎么检验那个对的，为啥会出现不一致，不一致的原因有哪些5 你能说一下olap引擎有哪些吗，为啥你这边选starrocks，这个对于别的来说有啥特殊之处吗，用了哪些新特性6 对于flink任务如何确保精确一致性，如何确保实时任务没问题7 说一下实时的join有哪些，都是啥效果，哪些场景会用这个8 看你财务经验也有，对于流量数据和财务数据你认为有啥区别，侧重点主要是啥，财务需要遵循什么规范9 看你数据治理经验也有，对于数据治理你认为如何评价治理的细节，对于一个湖仓架构哪些指标可以衡量一个湖仓的好坏10来个SQL题目，最大的在线人数，这个是个经典题，比较难，需要有经验11 有啥要问的

1.自我介绍2.开始讲项目，然后就是项目问题  项目背景-目的-自己的职责-成果3.实习经历，问我两段实习都干了什么，问的非常细，基本上都问到了4.数仓项目遇到了什么问题，我说的数据倾斜，问怎么优化5.有接触过数据治理吗？有哪些规则？6.如果晚上数仓的某一层，失败了没跑出来，怎么解决，（我说的是设置一个时间阈值，达到这个阈值没跑出来就默认是报错，然后跑前一天的数据，然后第二天早上来了检查前一天的数据有没有问题） ，公司晚上有人值班吗7.举一个指标，来实现六层数仓你会怎么设计这六层···8.谓词下推  提前过滤行（这个我回答错成，投影上移，选取列）大意了9.怎么检验数据那个值到底对不对10.对大数据开发的理解，重要的是什么，实习你都学到了什么···11.sql,共享屏幕，连续最大在线人数，（前一天刚刚看了）结果太紧张了，直接拿日期-时间，面试官让我讲解一下思路，然后问我日期可以减去时间吗？我才想起来，然后我说用date_sub函数，后面是count计数，我又写成sum，但是这两个都是面试官提醒了我一下，我就改对了12.反问环节问的对于实习生是怎么培养的好久没面大厂，写sql时有点紧张

问题都比较简单，但是我太久没有背八股了，很多基础知识都忘记了。现在代码都是AI写的，也在学AI应用开发。面试官人非常好，说话很温柔，我没实力。附上面经，其实都很基础。# 自我介绍（噢，你是江财的是吧，校友的实力在此刻凸显）2.. 项目拷打2.1 介绍项目，你的职责（股票智能体SpringAI）2.2 长期记忆如何实现？如果并发量上来了你怎么去优化？（用户画像落库MongoDB，缓存）2.3 MongoDB存的是文本还是向量？（文本，向量存在Pinecone）3. 基础八股3.1 CAS机制、会出现什么问题？（ABA）、长时间自旋怎么解决（面试官给了提示，但我真忘了）3.2 JVM内存模型、垃圾回收机制、垃圾回收器3.3. 一个对象是如何创建的？（忘了）3.4 Java容器（上面答得支支吾吾，面试官还是太友善了，改成简单的）3.5 HashMap的数据结构？为什么使用红黑树？红黑树的原理？（我只知道优化了时间复杂度）3.6 ArrayList VS LinkedList（底层实现、操作复杂度、内存浪费）如何要无限存一些数据，选哪个？为什么？（LinkedList）3.7 HashSet讲一下（确保数据唯一）如何实现的？3.8 MySQL 底层数据结构 B+ 树 VS B树（稳定性、排序对比、B+树的大小）3.9 MySQL的默认隔离级别？如何解决幻读？（可重复读、MVCC&Redo Log）坦白了，我说我现在AI用的多，很多基础知识忘了4. Skills用过吗?有什么作用？（流程封装、节约token）5. 写过SKILL吗？有什么注意事项？如何确保SKILL的稳定、安全和可靠？反问环节：用友怎么用的AI？（面试官说了很多，给了我一些建议）凉凉没跑了，我不知道什么时候投的java，我记得我投的一直是AI应用啊，当我发现时没多少时间了。