前言此题是2025年10月携程最新的数据开发面试题，我查阅了一下《大数据开发面试笔记V7.0》，确实是没有！但是回答本题又有一定的难度，于是今天来给大家解析一下本题，并且会补充在面试笔记中（位于spark补充题第29题）参考答案非等值连接不是广播JOIN，而是广播嵌套循环JOIN，也叫 BroadcastNestedLoopJoin，虽然也会将小表广播到所有的executor上，不同于BroadcastHashJoin的是，在JOIN时会用大表的key在未排序的小表中进行逐一匹配，效率非常低下示例说明 spark.sql( """ |select 1 as id,...

前言很多同学在面试过程中会被问到：1、有做过模型设计相关的优化吗？2、如何优化长周期累计计算？如果你还不知道如何回答此类问题，那么这个案例将会为你提供一个非常好的思路！！！需求背景一句话描述：计算X平台用户最近90天活跃天数输入：用户活跃天表dwd_tb_user_active_dd（user_id、is_active）最初方案： INSERT OVERWRITE TABLE dwd_tb_user_active_days_di PARTITION(dt = '${date}') SELECT user_id, size(COLLECT_SET(dt)) AS active_days FROM...

前言最近很多同学反馈：今年秋招投递了很多家公司，包括字节、美团、阿里、携程等中大厂，但是能够接到的面试却很少，感觉自己八股文、算法、项目准备的也都非常充分了，就是缺少面试的机会，非常焦虑啊！是不是大数据的坑太少了？是不是自己学历太低？是不是没有大厂实习经历？我相信很多同学也会有类似的顾虑，今天我来跟大家聊聊 如何提升秋招进面率？一些建议不要和无法改变的事情做斗争：学历低，一个月也没法提升上去！大数据的坑少与多，我们仍然会去投递！不要怀疑自己：面试很少和能力肯定没有任何关系，因为都还有到面试官的拷打环节，就已经over了1、首先一定要多投，投递渠道不仅限于公司官网、BOSS等，比如牛客、一些公司...

前言作为一个担任过多家大厂的面试官，我可以非常明确的告诉大家：项目一定是面试官最看重的一个部分如果项目很糟糕，在简历筛选过程中很难去吸引面试官的眼球，面试的机会都很难拿到！在面试中，即便八股文、算法题、SQL题都答得很溜，项目如果讲不出一些亮点，同样很难进入下一轮面试！那么，什么样的项目才能吸引面试官呢？什么是“好项目”首先，一定要保证这个项目不会出现在竞争候选者的简历上，只有当面试官在此之前没有见过这个项目，才会提起兴趣去了解它其次，关于这个项目描述是非常清晰的，很多同学会非常关注做了哪些事情，用了哪些牛逼的技术栈，实际上我们应该去更加关注为什么做这件事情，这样才能跟面试官讲述一个完整的故事...

前言2026秋招已经陆陆续续的开始了，很多同学都接到了笔试和面试的邀请，大家现在进展如何？校招应届生的身份真的非常重要，比起社招进入中大厂的难度会更低，作为一个曾拿到过10+中大厂offer的师兄，今天主要跟大家分享一些提高秋招面试成功率的建议！一些建议八股文准备1、简历上提到的技术栈，一定要熟悉其底层原理，如果写了一个很牛逼的技术栈，但是被面试问到后吱吱唔唔，不如不写2、时间来不及准备的同学，仅需掌握核心框架中的重点题目，比如HDFS的读写流程、Spark的Shuffle流程等3、很多人觉得八股文好多，记不住怎么办，多面试多总结，实际上常考的一些八股文只有不到100题，不要被当下市面上的面试...

那天部门例会结束，当老板眉开眼笑地宣布“关系好”的同事晋升名单时，我竟被茶水间里骤然爆发的祝贺笑语淹没了。望着眼前同事们簇拥着新晋主管的喧腾热闹，我手指几乎捏紧得发白——那周我加班到深夜、千辛万苦交出的方案，此刻正被轻巧地摆在那位同事的桌角，成了他新官上任最耀眼的一抹功勋。茶水间的笑声喧哗不止，键盘声却恍若消失，瞬间一股强烈的无力感攫住了我，那一刻心底竟真真切切地冒出一个念头：走？是的，此种“关系”之力，有时确如无形巨掌，翻覆着职场的公平天平。曾几何时，我埋头于电脑屏幕前敲打一份份报告，而隔壁工位却常传出与老板在茶水间轻松说笑的声音。起初我只当是寻常交际，岂料年终评优，升职名单上赫然是那常在老...

如今，秋招面试越来越卷，如果还是拿着某站的一些开源项目去面试，很难拿到满意的offer了！！！如果你没有实习经历，确实很难接触到企业的真实项目？那么我们该如何包装自己的项目呢？今天主要给大家两个思路：切记：写在简历上的项目一定要非常清楚！否则，不如不写1、基于开源项目进行包装主要可以从以下方面来进行优化：企业级数仓开发平台建设（CI/CD、资产管理）数据治理（标准、质量、成本、效率...）智能场景（答疑机器人、流量归因、无效节点下线、一键回刷...）模型设计优化（稳定性、通用性、易用性...）构建复杂函数（JSON解析、中英文转换、相似度计算...）数据采集（数据漂移、增量采集、会计切换......

Hive on Spark： 这是Hive 主导的集成方式。本质上是将 Spark 作为 Hive 的执行引擎（替代 MapReduce 或 Tez）。用户提交的是标准的HQL语句，Hive 负责 SQL 解析、优化，最终将生成的执行计划提交给 Spark 集群去执行，强依赖 Hive Metastore 来管理元数据。主要目的是让现有的Hive任务运行在更快的Spark引擎上。Spark on Hive：这是Spark主导 的集成方式。用户编写的是 Spark 应用程序，其可以选择性地连接Hive Metastore，目的是让Spark 能够方便地读写Hive中定义的表。Hive Metas...

来自百度提前批——数据研发一面  参考答案 在HDFS中，有多种文件存储格式，主要分为行式存储和列式存储两大类：  行式存储包括TextFile和SequenceFile，其中TextFile是最基本的格式，每一行就是一条记录，字段间用分隔符进行分隔，易于生成和解析但存储效率低，SequenceFile是一种二进制键值对的存储格式，存储效率更高，但不太适用于仅查询列的OLAP场景 列式存储包括ORC和Parquet，他们和SequenceFile一样都是基于二进制存储的，但是基于列式存储，更适用于OLAP分析场景，其中ORC是Hive引擎的首选，Parquet是Spark引擎的首选

前言很多同学反馈，面试经常会问到一些实际场景题，不知道如何回答这些问题，比如：1）可以举一些处理数据倾斜的真实案例吗？2）有做过模型设计优化的案例吗？3）你是如何评价数仓好坏的？4）你是如何设计指标体系的？5）如何保证指标一致性？6）如何构建数仓的质量体系？7）有处理过缓慢变化维吗？8）.....如果你同样有类似的疑问，那么V7.0将解决你所有的问题，除此之外，我们还会补充Doris、ClickHouse、Paimon等框架的高频面试题，也会新增60+篇最新的各大厂面经合集、10+道大厂面试SQL题、最新大厂内部算法题库等⚠️ 变更明细如下：笔记预览《一、大数据篇》《二、计算机基础篇》《三、计...

据统计，秋招能够拿到大厂offer的同学90%以上都有实习经历，所以实习对于校招同学来说至关重要前言上一篇文章暑期实习ing的同学一定看完...主要给暑期实习的同学一些过来人的建议，实习最重要的目标就是转正！！！当然也有很多没有实习的同学过来问我：实习能学到东西吗？先给出结论，一定能！！！本人曾在3家大厂实习过，秋招才有幸拿到多家大厂的正式offer，包括阿里、滴滴、腾讯、去哪儿等如何学习如果你进入的是一家中大型公司，那么一定会有一些公共的知识库，这里面的内容非常丰富，并且一定是在学校学习不到的内容如果你进入的是一家中小型公司，那么大概率没有公共的知识库，这时候就需要自己主动去找同事要一些文档...

前言最近有很多暑期实习的同学问我：每天都在干杂活怎么办？学不到东西怎么办？不能转正怎么办？实习最重要的是什么？转正！！！转正！！！转正！！！其次才是学习以提升个人能力和简历丰富度很多人认为这样的想法很功利，如果你真实参加过秋招就会知道，秋招的竞争力有多大，所以我们一定要把握好这次提前上车的机会作为一个有过多家大厂实习经历的实习师兄，今天来跟大家聊聊 如何顺利拿到转正offer 以及 如何在实习中准备提前批面试如何顺利拿到转正offer实习过程中谨记九个字：听话、多看、多问、多总结听话：让干什么干什么，不要和mentor/主管发生任何矛盾多看：多去看看组内同事的周报，去内网看看业务文档以及项目文...

前言先给出结论：很难！！！如今中大厂更希望招进来一个可以直接干活的“老油条”，而不是还需要培养的新人，因此实习经历就至关重要最近很多同学都拿到了大厂的实习offer，但也有一部分并没有拿到想要的结果，难道真的没有机会在秋招中拿到中大厂offer了吗？我将结合自己多家大厂的实战经验以及招聘经历，给大家讲一些即便没有实习也可以冲击中大厂秋招offer的方法如何突击大厂如果你现在没有实习，那么你是有更多的时间来准备提前批或者秋招，所以我们的心态要稳！！！心态要稳！！！心态要稳！！！1、首先是技术栈的广度上，我们要尽可能扩展自己的技术栈，举个例子，面试数据研发/数仓的同学基本上只会一些大数据相关的技术...

一面 50分钟 自我介绍你学过的大数据掌握的最好的是哪一个 hive里面排序一般怎么使用的 hive内部表和外部表的区别，外部表在什么场景下使用 hive视图用过吗 你对维度和事实的理解你说到了业务过程，谈谈对它的理解你刚刚描述的是一个业务过程还是 多个业务过程多个业务过程放到一张事实表的你举个例子 维度建模中 星型模型和雪花模型 之间的区别缓慢变化维表如何处理呢 全量表的数据保存多久 那你们订单表是全量还是增量，你觉得增量是什么意思，那你们这边的数据保存多久呢说一下订单表的设计过程 以及 表的分区含义你前面提到了会进行维度退化，那么说一下订单表中有哪些维度退化属性那你说一下你们数仓的一个全链...