#软件开发2024笔面经# 阿里云数据开发岗位面试公司名称:阿里云面试岗位:大数据开发整个是大数据开发，我以为是数仓开发，结果问的全是Spark问题，被搞自闭了。1，自我介绍2，park中RDD的Task数量由什么决定?3，Spark怎么实现算子中的变量共享?4，Spark共享变量的使用条件?5，可序列化?连接池实例是在算子内还是在算子外?我一开始没想好，先回答了连接池的作业:是为了连接的复用，将可能会用到的连接通道给提前打开，存在大量通信请求场景时，可以用到连接池来优化整个通信过程的效率。我回答是 连接池实例应该在算子外创建和管理，这样算子共享相同的连接池。但面试官说让我好好想想。然后问我如果进行网络连接，是一台电脑连接还是多台连接?应该是在算子内，通常是因为数据不能或不应当在算子之间共享，或者存在连接泄漏的风险。例如，在使用HBase时，连接器必须在算子内实例化连接池中的连接，以确保每个算子在处理数据时都能获得可用的连接。6，习惯用的语言?Scala熟练不?对Scala有什么看法?7，为什么选择Spark来处理数据?因为非结构化的数据多吗?这是3面，整个流程大概花了50分钟，问的问题脉友一场，知无不言

#软件开发2024笔面经# 数据开发面试经历上海的亿沓科技Kafka数据重复怎么办？zookeeper了解吗？flume架构展开说说flume的channel？Kafka架构说说？sql底层原理了解吗？Kafka丢数据咋办？可以说下Kafka的分配分区策略吗？讲下数仓项目的全流程为什么做这个数仓项目？有什么用？hdfs小文件怎么处理？python会吗？反问感觉问的还是挺底层的，答的也不太好

今天要分享一点出来的是，飞书文档中的 第40题： 打卡必须给我对准了再打 之 这卡不打也罢，年轻就是资本，我有的是资本题的来源文档（数据开发必学）：https://ykg8hl7h33.feishu.cn/docx/VNo7dJLJfoDwT1xNNVpcLg8Snlc题目：求每个员工每天的有效打卡次数，有效打卡定义：首次打卡有效，以首次打卡为基准，后续每次打卡间隔应大于等于1小时，同时要求小于3小时有效打卡定义：首次打卡有效以首次打卡为基准，后续每次打卡间隔应大于等于1小时，同时要求小于3小时备注：如果第二次打卡无效了 那第三次还可以和第二次比较数据： with data as ( ...

**题目均来自社区同学遇到面试题**有一个录取学生人数表，记录的是每年录取学生人数和入学学生的学制，然后计算每年在校生人数 with data as ( -- 主键 入学年份 人数 学制 select 1 as id , 2001 as year , 1200 as stu_num , '3' as stu_len union all select 2 as id , 2000 as year , 1300 as stu_num , '5' as stu_len union all sel...

数据开发大揭秘：让你的团队协作不再“鸡飞狗跳”！团队协作规范篇启航嘿，数据开发的小伙伴们！今天我们要揭开团队协作规范的神秘面纱，让你的团队立即落地，不再“鸡飞狗跳”！准备好迎接一场有趣又实用的规范之旅吧！铺垫一下首先，让我们来谈谈团队协作。想象一下，你的团队就像一群超级英雄，每个人都有自己的超能力！但是，如果没有良好的协作，就会像超级英雄们在战斗中互相踩踏一样混乱！数据质量可是关键中的关键！就像烹饪一道美味的菜肴，数据质量就是食材的新鲜度和烹饪的技巧！上线流程和变更流程也不能忽视哦！这就像是一场精心策划的音乐会，每个步骤都要有条不紊地进行！说到流程规范，它就像是交通规则一样，让我们的工作有序进...

数据开发实习大作战：实习生成长攻略亲爱的小伙伴们，欢迎来到数据开发的世界！作为一名实习生，你可能会感到迷茫和不知所措。你即将踏上一段充满挑战和机遇的旅程。在这个数据驱动的时代，你的技能和才华将有无限的发挥空间。但请记住，学习是一个永无止境的过程，需要不断地努力和积累。嘿，数据战士们！准备好开启数据实习的征程了吗？**在这个数据为王的时代，努力是我们立足的基石。**这里有一份攻略，带你在数据的战场上冲锋陷阵！侧重点寻找独家实习机会：别再局限于传统的实习渠道啦！试试挖掘一些小众领域或者新兴行业的实习机会，成为独一无二的实习生。比如说，去一家环保组织实习，为地球贡献自己的力量，是不是听起来就很酷炫呢...

还能不能学大数据 首先看到这个话题的时候，我是这样想的，能不能学大数据需要参考本人的自身情况【学历、年龄、决心、有没有矿或者更好的选择】,以及这个行业方向本身的发展情况【涵盖行业范围、升降趋势、市场饱满度】，那么我真对这几点来拆解，给大家分析一下，你到底还能不能学？ 自身情况 学历 如果你是小学、初中、高中、专科、普本这些学历，我的建议是家里有矿或者有后路的快快跑路，如果没有这两个东西，那么问题来了 找工作无非看重两点【学历、技术】，显然学历不太占优势，如果你没有矿和退路，就需要下比别人更多的功夫来磨练自己技术、基础、大数据综合素质 如果你是985、211、重本、硕士等这些学历，我的...

做大数据还有没有前途？先说，答案是肯定的，但一定要记住三要三不要。大数据三要三不要要 重点研究每个业务指标的用途，也就是谁用它干什么；不要 太迷恋指标加工的ETL逻辑，因为在日渐SQL化的计算引擎技术下，指标提取不是难点要 重点研究数据是怎么组成的，也就是主题建模方法；不要 太在意数据集的大小，因为在hadoop分布式存储技术下，规模不是要害。要 尽可能的离数据治理近，这有机会让你通览全局，还便于跳槽平移；不要 太青睐报表开发，因为数据可视化在BI工具一大堆下的现状下，价值太卑微。我来讲讲大数据前景大数据生态技术架构在当今世界的数据驱动时代中扮演着重要的角色，并且仍然具有广阔的前景用几个点来阐...

数据开发工程师#实习#社招#急招 10+坑位职位描述参与数据中台的汇聚和采集ETL详细设计和开发工作；负责数据平台相关数据管理工作，如研发规范、质量规范、保障规范的制定与推动实施落地；负责数据分析需求的模型开发和实现；负责来自业务团队数据方面的研发需求。职位要求0-5 年大数据开发经验 都可以，精通SQL语言，具备存储过程开发能力，能熟练进行SQL查询优化；熟悉Hive数据仓库设计，了解数据仓库模型及思想、维度建模思想，了解数据仓库、CDP者优先；熟悉Hadoop、Spark、Flink、Sqoop、DataX、Hive、Flume、Kafka等相关技术；熟练scala、python、java...

## 数据开发工程师#社招#急招### 职位描述1. 参与数据中台的汇聚和采集ETL详细设计和开发工作；2. 负责数据平台相关数据管理工作，如研发规范、质量规范、保障规范的制定与推动实施落地；3. 负责数据分析需求的模型开发和实现；4. 负责来自业务团队数据方面的研发需求。### 职位要求1. 0-5年以上大数据开发经验，精通SQL语言，具备存储过程开发能力，能熟练进行SQL查询优化；2. 熟悉Hive数据仓库设计，了解数据仓库模型及思想、维度建模思想，了解数据仓库、CDP者优先；3. 熟悉Hadoop、Spark、Flink、Sqoop、DataX、Hive、Flume、Kafka等相关技术；4. 熟练scala、python、java中至少一种语言；5. 具有良好服务意识，抗压力和沟通能力强，有过toB行业服务经验优先。### base 重庆/北京/上海/深圳 【 **有能力的小伙伴 可以带简历v ************** 】#大数据##面试##招聘##实习##社招##数仓面试#

牛客SQL161 近一个月发布的视频中热度最高的top3视频解题思路盲点 这道题目需要排除没有播放 or 发布时间不在最近一个月的 视频记录需要按照热度公式来处理每个视频首先拆除公式有 完播率、点赞数、评论数、转发数、新鲜度我们已知参数是固定的，所以可以先计算出这几个数值⬆️需要用where来排除发布时间不在近一个月的视频如 最近的播放时间是2021-08-01 12:00:00 往前推一个月是 2021-07-01 00:00:00，但理论上2021-07-01不属于最近一个月，所以再往后推1天是2021-07-02 00:00:00t1.release_time > ( select...

SQL大战