26秋招虾皮数据开发一二面

30分钟 0.自我介绍1.谈了谈有无考公考研的打算2.回归正题 介绍项目（某硅谷的离线实时，还有paimon湖仓）讲了讲ads层指标什么三天登录，用户流向分析之类的，我说这三个项目指标都差不多问了我在哪做的，我说在自己虚拟机上部署的问数据来源，我说是有模拟生成业务库数据和日志数据的jar包，然后讲了一个这两条链路的数据的路径，maxwell，flume,kafka什么的然后问我paimon湖仓 怎么做的  我说paimon湖仓用官方的mysql-paimon的包直接进行同步，代替了maxwell然后我说paimon的snapshot+tag代替了传统离线的拉链表，感觉很方便，问我什么地方做的拉链，我说的用户表，然后我又讲了讲hdfs的小文件，paimon怎么解决的实时写入的小文件问了有没有遇到过什么问题  我说遇到执行任务的时候doris fe节点崩溃，查不到数据，然后我就一直扩大内存，虚拟机也搞得一台25g了3.flink怎么保证数据不丢不重   我答了kafka支持事务，checkpoint记录状态和kafka消费位点，又讲了paimon sink的时候自动清除没有snapshot指向的manifest来删除故障前多读的数据，说了一堆paimon相关的，比如lsm树文件结构，checkpoint时产生snapshot，还有paimon写入文件的大概流程4.数据倾斜  我说的原因就是比如短视频业务下某个视频火了产生热点key，导致某个分区数据特别多，可以用flink的重分区算子，写代码加盐打散，或者自定义kafka的分区逻辑5.sql优化  我说的谓词下推提前过滤，多表join优先join小表，还有starrocks，doris这些olap引擎的CBO优化查询，讲了starrocks物化视图是一个实际读出来的表，可以设置新鲜度来变更读的频率，而且CBO会自动查询sql语句的查询结果是不是某个物化视图的子集，以此来优化，然后这些引擎底层也会帮我们做些优化。6.问我知道paimon的结构化非结构化数据的存储格式吗    不知道，没接触过6.1讲一下什么是湖仓一体 我说是湖的各种数据都能存和仓的规范的，规定好字段名，类型等元数据便于分析的能力的结合，我自己又说了一些什么schema on write，read之类的7.问我还知道什么数据湖技术  我说iceberg，hudi 区别我之前看过，但是忘了，我就记得paimon和flink的集成比较好，比较亲儿子，然后就没问了8.怎么看现在很多人都投身大模型行业   我说的感觉很正常，因为这个ai本身看着就很吸引人（）8.1我说我用过那个阿里云的data什么，面试官说dataworks是吧，就是我们之前做的，问我还用过什么，我说阿里云的flink,fluss都用过，也用过神策，然后面试官讲了讲他们的产品8.2说了说我做过的其他东西，我说我搭建过网站，做过抖音小游戏但是上架太麻烦（）9.英语好不好  我答：半废   面试官说那海外业务就不考虑你了10.怎么看data+ai （因为我简历上写了了解data+ai）我说的就是从前我们用个什么库只能对文字完成基本情感的正负分析，而引入了大模型就可以做出更精确的判断，比如用在用户直播间识别弹幕给主播提建议，或者金融行业智能agent检测到风险实时邮件通知之类的反问 15分钟1.flink现实市场上用的多不多2.paimon这类数据湖到底用的多不多当时忘录音了（），有的问题记不清了整场面试也是又说有笑，面试体验给到夯（）🤠🤠🤠