数仓面试

二面是要求线下面试，这也是我第一次线下，没啥经验，提前半小时到的，填了张面试信息表大概用了十分钟，之后等到两点左右，面试官准时来了。首先是个人介绍，学校、专业、项目、竞赛。看你是26届的，为什么这么早就开始实习，学校还有课吗？既然学的是软件工程，偏向后端开发，为什么要报数仓开发，你觉得一个后端开发的来数仓开发有什么优势？看你既会Java又会Python，这些语言跟数仓开发之间的联系？之后直接挑明了问简历上俩项目就是网上找的用来练手的吧，那么这种练手项目让你从中学到了什么？说一下用过的数据库有哪些，其中哪些是最熟悉的？（MySQL、Redis）你写SQL写得很多吗，你个人更偏向数仓开发还是数据分析？说一下数据治理的概念。（这个问题是全程唯一一个答偏了的，因为这个词接触得太少了，我硬着头皮把数据分析的概念说了一遍，面试官只是笑笑，没多说话，后边结束了问了学哥才知道概念解释错了）看你数仓都是用了五层规划，每层的作用是什么？你说ODS层的数据是不变的，那后续每日更新的数据是怎么获取的？（Maxwell主从复制，增量同步）如果其它层的数据需要进行更新，该怎么办？（周期快照事实表、拉链表）既然提到拉链表了，说一下它是怎么使用的？（我把拉链表的概念说了一遍）你刚才说的是拉链表的概念，如果现在有a表和b表，其中a表是拉链表，b表数据改变，怎么让a表的数据进行更新？请你看一下这个sql语句，说一下它最后取出来的数值的意义。（那是一个写得极其冗余的sql语句，嵌套了好多层，还join了四次同一张表，我最后没表达清楚，说这个语句是为了得到朝阳区最新的日期的数据，面试官说答得有些不对，其实是为了得到朝阳区最新的日期的空气质量。其实我就是这个意思，当时已经面了30分钟，嘴里开始发苦了，脑子想出来了嘴上没说好）实习最久能待几个月？（12个月）反问咱们公司的业务主要是哪些方面的？每天几点下班？你们的数仓团队现在有多少人？需要出差吗？后续流程需要多久，还会有三面吗？最后跟面试官说聊得很开心。出来后才想起来了没谈薪资的事情，虽然初筛的时候HR问过，但是还是有些后怕啊，不再跟我确认一遍吗写面经攒人品，希望能一把过

总体问的都是蛮基础的，也是根据简历来问的，你简历上写熟悉哪些，就会问哪些1.自我介绍2.项目来源，自己做的还是网上找来做的3.离线数仓介绍4.项目遇到的问题（提到kafka的重复数据）5.为什么kafka会出现重复数据6.你项目中怎么处理的7.数仓分层的好处8.数仓分了哪几个数据域9.讲一些维度建模10.常见的维度模型（雪花、星型）11.使用场景12.除了维度建模，还有哪些建模理论(E-R）13.E-R模型讲一下（提到数据库范式）14.讲一下三范式15.事实表的分类16.spark相比mr的优点（因为项目是hive on spark）17.hadoop的读写原理18.读写过程中，datenode挂掉了，怎么处理19.你两个项目更倾向于做哪方面（一个实时，一个离线）20.==和equals的区别21.StringBuilder和StringBuffer区别22.简历提到的做过python开发，是做了什么23.平时是用python语言写脚本还是shell语言24.hive的优化方式25.自定义udf的过程26.窗口函数使用过哪些，介绍一下27.row_numer和rank以及dense_rank的区别28.学习途径29.校园经历30.对工作上出现的一些场景的看法31.反问教训：1.不能够很好的表达意思，表达较为混乱，其实都是一些基础的八股。解决：可以多用自己的话去回答这些八股题，不然面试一紧张，就语无伦次，多用自己的话去总结回答问题2.简历中提到的东西，尽量去弄懂搞清楚，并把相关的八股好好准备一下3.可以拓展面试官的问题的回答，提到一些自己知道的东西，然后引导面试官往那方面提问。广州的一个中小公司吧

上来自我介绍，个人信息、在校所学专业、毕业时间、为什么学习大数据。询问出生年份。（没懂为什么专门问这个）介绍项目，离线数仓的五层是怎么设计的，DataX做首日的全量采集、Maxwell做后续每日的增量采集，Flume传输数据，Kafka起缓存作用，解耦各个组件。大数据竞赛拿了全国一等奖，那么这个竞赛中做的是什么业务？学校主修课是什么，大数据是否是自学？介绍一下简历中的离线数仓。说一下Maxwell的底层实现原理。讲一下Hive On Spark引擎的特点。介绍一下简历中的实时数仓。说一下checkpoint机制和精准一次。Docker的常用命令。Doris需要更新数据吗，怎么更新数据的，是用update吗？Doris在项目中的作用。Kafka的偏移量需要手动维护吗。项目的数据来自哪里，是真实的数据吗？数据量有多少，能达到什么级别，有一亿条数据吗？HBase在项目中是怎么使用的，为什么维表存到HBase中？为什么没有存到Redis中？FastJson了解吗，说一下。SpringBoot的拦截器和过滤器的区别。现在是否在校？反问工作压力大吗？公司有食堂吗？（我在想没食堂 可以买拼好饭吃😋）刚才回答的内容还算可以吗？（面试官：回答得没问题，学生能学到这个程度，已经可以了）写面经攒人品，希望能一把过

秋招投了快一个月都不给机会，实习一投就来面试了，上来就字节属实吓到自己了DDC数据科学实习岗（base 上海）两轮面试时间2024.10.11和10.12目前还没收到后续通知，难绷

HBase 的适用场景是什么？HBase 是一种分布式的、可伸缩的列式存储系统，适用于以下场景：大规模数据存储和处理：HBase适用于需要存储和处理大规模数据集的场景，可以处理PB级别的数据。实时读写需求：HBase提供了快速的随机读写能力，适用于需要实时访问和更新数据的场景。高可靠性和容错性要求：HBase在设计上具有高可靠性和容错性，通过数据的复制和分布式存储，可以保证数据的可靠性和可用性。高并发读写需求：HBase支持高并发的读写操作，能够满足多用户同时访问和更新数据的需求。弹性扩展性：HBase可以方便地进行水平扩展，可以根据数据量的增长自动进行分片和负载均衡，适用于需要灵活扩展存储容...

1.数仓为什么要分层数仓分层是为了提高数据的管理和使用效率。首先，分层可以帮助数据仓库实现数据的结构化和整理。通过将数据按照不同的层级进行分类，可以更好地对数据进行管理和组织，使数据结构清晰明确。其次，分层可以提供不同的数据访问方式和权限控制。将数据仓库分为不同的层级，可以根据用户的需求和权限将不同层级的数据暴露给用户，实现对数据的灵活访问和控制，同时确保敏感数据的安全性。此外，分层还可以提升数据仓库的性能和扩展性。将数据仓库按照不同的层级进行划分，可以根据需求优化每个层级的性能，使数据的查询和分析更加高效。同时，分层也便于数据仓库的扩展和维护，可以根据需要进行层级的增加或删除。最后，分层还可...

到店业务有点久远一直忘了写，就记得这么多一面：1、自我介绍2、比赛中遇到的难点3、实习中做的项目，聊项目细节 (大部分时间都在问这个)我好像很多面经都这么简略的写，这次写细点儿哈，里面涉及到的一些知识点，具体项目就不聊了数仓模型设计方法数据质量如何判断如何保障下游查出时间对于重要程度不同的任务如何合理分配资源dwd层建模方法，考虑哪些东西spark任务调参逻辑和常用参数cube使用优化roaringbitmap实现原理和应用场景项目的目标是什么业务过程详细讲解反思之前的某个项目，有没有可以优化的地方4、spark任务提交过程5、spark和hadoop的区别6、宽窄依赖7、数据倾斜场景、原理与...

火车票业务有点久远一直忘了写，就记得这么多一面：1、自我介绍2、聊实习，扣细节3、聊实习项目技术难点，聊到了我用later view遇到的坑，面试官直接激动，并表示他前几天也碰到了这个坑，两边都很惊喜，直接惺惺相惜4、聊竞赛经历，内容以及遇到的难点5、开始八股，写吐了，这里就省略了，要看的看我之前的帖子6、sql题，是啥忘了，难度中等吧7、反问二面 主管面：1、自我介绍2、聊实习实习项目聊到cube优化两边理解有gap，扯了半天给我急死了，也是因为这里导致二面面评只有b，一面是a3、你作为一个实习生，这么核心的项目交给你来？还是说你负责其中的某个方面？解释完了4、聊职业规划和职业理解5、反问h...

1.计算优化主要从数据倾斜方面讨论任务优化Map倾斜为什么Map的主要功能是从磁盘中将数据读入内存，由于读入数据的文件大小分布不均匀，因此会导致有些map task读取并且处理的数据特别多，而有些map task处理的数据特别少，造成map端长尾。以下两种情况可能会导致Map端长尾：上游表文件的大小特别不均匀，并且小文件特别多Map端做聚合时，比如map join，某些map task读取文件的某个值特别多怎么办针对第一种情况，可以对上游的小文件进行合并，通常就是调整小文件的参数来进行优化，比如 调节map任务的map task的数量，以及 调节单个map task读取的小文件个数。针对第二种...

## 数据开发工程师急招### 职位描述1. 参与数据中台的汇聚和采集ETL详细设计和开发工作；2. 负责数据平台相关数据管理工作，如研发规范、质量规范、保障规范的制定与推动实施落地；3. 负责数据分析需求的模型开发和实现；4. 负责来自业务团队数据方面的研发需求。### 职位要求1. 0-5年以上大数据开发经验，精通SQL语言，具备存储过程开发能力，能熟练进行SQL查询优化；2. 熟悉Hive数据仓库设计，了解数据仓库模型及思想、维度建模思想，了解数据仓库、CDP者优先；3. 熟悉Hadoop、Spark、Flink、Sqoop、DataX、Hive、Flume、Kafka等相关技术；4. 熟练scala、python、java中至少一种语言；5. 具有良好服务意识，抗压力和沟通能力强，有过toB行业服务经验优先。### base 重庆/北京/上海/深圳 【 **有能力的小伙伴 可以带简历v ************** 】

数据开发工程师#实习#社招#急招 10+坑位职位描述参与数据中台的汇聚和采集ETL详细设计和开发工作；负责数据平台相关数据管理工作，如研发规范、质量规范、保障规范的制定与推动实施落地；负责数据分析需求的模型开发和实现；负责来自业务团队数据方面的研发需求。职位要求0-5 年大数据开发经验 都可以，精通SQL语言，具备存储过程开发能力，能熟练进行SQL查询优化；熟悉Hive数据仓库设计，了解数据仓库模型及思想、维度建模思想，了解数据仓库、CDP者优先；熟悉Hadoop、Spark、Flink、Sqoop、DataX、Hive、Flume、Kafka等相关技术；熟练scala、python、java...

大厂企业级数仓建设规划https://z.itpub.net/article/detail/18D686000EA5B82E83569C32A5437266

干货满满(òωó)👍👉大数据开发面试必备