京东 数据开发

笔者在秋招前由于有DB研发背景，试图找过数据开发岗的工作，最近心有所感，看现在的Agent开发岗越看越像数据开发岗，故写下这篇随想。  安慰大家，就算 oai 爆炸了，大家也不会被辞退的。 笔者一直很希望 oai 跟 nv 一起爆炸让笔者捡便宜显卡。 为什么不让加删除线，牛客怎么搞的  以下是两者在核心维度的映射对比：    维度 数据开发现状 Agent 开发现状     技术栈形态 以 SQL 为主。Java/Scala 因偏重而较少使用。 以 Prompt 为核心的自然语言，Python 和 Java/Go 也是有不少存在感的。   准入与门槛 技术门槛低于后端，学历门槛高于后端。 逻辑...

30分钟 0.自我介绍1.谈了谈有无考公考研的打算2.回归正题 介绍项目（某硅谷的离线实时，还有paimon湖仓）讲了讲ads层指标什么三天登录，用户流向分析之类的，我说这三个项目指标都差不多问了我在哪做的，我说在自己虚拟机上部署的问数据来源，我说是有模拟生成业务库数据和日志数据的jar包，然后讲了一个这两条链路的数据的路径，maxwell，flume,kafka什么的然后问我paimon湖仓 怎么做的  我说paimon湖仓用官方的mysql-paimon的包直接进行同步，代替了maxwell然后我说paimon的snapshot+tag代替了传统离线的拉链表，感觉很方便，问我什么地方做的拉链，我说的用户表，然后我又讲了讲hdfs的小文件，paimon怎么解决的实时写入的小文件问了有没有遇到过什么问题  我说遇到执行任务的时候doris fe节点崩溃，查不到数据，然后我就一直扩大内存，虚拟机也搞得一台25g了3.flink怎么保证数据不丢不重   我答了kafka支持事务，checkpoint记录状态和kafka消费位点，又讲了paimon sink的时候自动清除没有snapshot指向的manifest来删除故障前多读的数据，说了一堆paimon相关的，比如lsm树文件结构，checkpoint时产生snapshot，还有paimon写入文件的大概流程4.数据倾斜  我说的原因就是比如短视频业务下某个视频火了产生热点key，导致某个分区数据特别多，可以用flink的重分区算子，写代码加盐打散，或者自定义kafka的分区逻辑5.sql优化  我说的谓词下推提前过滤，多表join优先join小表，还有starrocks，doris这些olap引擎的CBO优化查询，讲了starrocks物化视图是一个实际读出来的表，可以设置新鲜度来变更读的频率，而且CBO会自动查询sql语句的查询结果是不是某个物化视图的子集，以此来优化，然后这些引擎底层也会帮我们做些优化。6.问我知道paimon的结构化非结构化数据的存储格式吗    不知道，没接触过6.1讲一下什么是湖仓一体 我说是湖的各种数据都能存和仓的规范的，规定好字段名，类型等元数据便于分析的能力的结合，我自己又说了一些什么schema on write，read之类的7.问我还知道什么数据湖技术  我说iceberg，hudi 区别我之前看过，但是忘了，我就记得paimon和flink的集成比较好，比较亲儿子，然后就没问了8.怎么看现在很多人都投身大模型行业   我说的感觉很正常，因为这个ai本身看着就很吸引人（）8.1我说我用过那个阿里云的data什么，面试官说dataworks是吧，就是我们之前做的，问我还用过什么，我说阿里云的flink,fluss都用过，也用过神策，然后面试官讲了讲他们的产品8.2说了说我做过的其他东西，我说我搭建过网站，做过抖音小游戏但是上架太麻烦（）9.英语好不好  我答：半废   面试官说那海外业务就不考虑你了10.怎么看data+ai （因为我简历上写了了解data+ai）我说的就是从前我们用个什么库只能对文字完成基本情感的正负分析，而引入了大模型就可以做出更精确的判断，比如用在用户直播间识别弹幕给主播提建议，或者金融行业智能agent检测到风险实时邮件通知之类的反问 15分钟1.flink现实市场上用的多不多2.paimon这类数据湖到底用的多不多当时忘录音了（），有的问题记不清了整场面试也是又说有笑，面试体验给到夯（）🤠🤠🤠

面试时间：2025.03面试部门：生活服务timeline：3.12一面，后续已拒一面（45min）自我介绍离线数仓项目介绍（业务细节+建模过程）实习经历中如何整合异构数据源（说了数据采集工具、采集过程以及ELT思路）事实表的分类及其应用场景（事务型，周期快照型，累计快照型）简要说明数据倾斜问题如何解决（hive+spark）sql手撕：最大连续登录天数算法手撕：数组倒序排序（选一种排序方法即可，我选的快排）

1.挑一个项目介绍2.了解实习经历3.针对实习项目，问数据层次怎么分层4.数据分层的作用5.针对具体实习项目，说明业务逻辑6.说明实习项目的“订单量"这个指标从源头到产出的 ETL过程7.针对实习项目，复盘后最大的难点是什么8.复盘之后有什么收获9.你刚才说复盘收获是处理小文件，那么spark怎么处理小文件的?10.处理小文件有哪些方法，举例子11.hive冷热分离的方法12.你刚才提到了组里有做ec存储，你了解ec存储吗13.暑期实习有什么感受，转正了吗 15分钟14.了解spark的semi join吗，他是干嘛的15.了解spark的AQE，这是什么16.你刚才讲AQE提到了广播机制，这个在spark中很重要，讲讲广播过程呢17.了解网络吗?讲讲三次握手和四次握手区别。18.了解数据结构吗?讲讲0(nlog n)的不稳定排序算法Q1.求开方:给定排序算法。num=5.79，error=1e-8，求x使得abs(x^2-num)<error