7.3开放7.8内推 软件工程师7.12被转岗 大数据开发8.24 一面 牛客 40min实习http不同版本Integer等号判断（考察Integercache）String等号判断和加号（多个字面量相加编译时会直接优化成一个字面量，这个之前没注意）Innodb 索引为什么b+树io次数比b树少手撕：判断循环调用（写了dfs，应该用拓扑排序）秒挂

面试内容一面：1、一套笔试题，选择+简答+sql，选择简单，简答很多根本不了解，反正很多都没听过（我菜😭）2、olap和oltp模式之前有没有了解过？3、关系型数据库和非关系型数据库的比较4、mysql删除重复数据，只保留一条怎么做？5、联合索引放在哪里？（没听懂）聚合索引和非聚合索引的区别？6、Informatica开发ETL过程是什么样的？（直接懵逼）7、之前有金融，证劵的工作经历吗？8、实习离职原因？个人规划二面：hr单方面描述，对一面结果满意，希望可以继续沟通，约二面，口头描述8.5k起步。但当时手头有个offer确认日期快到了，已经10月底，已经身心俱疲，不确定的选择将要承担风险，...

#软件开发2024笔面经# 1.上海汉德——IT咨询（数据分析方向）没有笔试，直接一面一面：全程没有技术问题15min结束面试学校成绩有无获得奖学金实习团队有几个人实习的收获项目是团队做的还是自己一个人做的希望base哪里期望薪资期望社保缴纳的地点（无后序）2.澎贝数科——数据分析工程师没有笔试，直接一面一面：15min项目问题实习探究实习的收获能不能立马实习（我说不能，于是面试官就立刻终止面试XD）3.北京四达时代——大数据开发笔试：3h操作系统、计算机网络、数据结构（20道408选择题），三道编程题一面：1h直接上笔试题目，讲笔试题目的思路（一上来把我搞蒙了，把做对的题目让你重新讲一遍思路...用时半个小时）剩下半个小时：问实习、问项目（穿插着问大数据八股和408八股...好窒息谁懂）只记起来这些DataX是什么？用来干嘛的？HiveSQL和sparkSQL的区别left join on 和 where 的区别项目里面有没有遇到过数据倾斜的情况，怎么解决的？MapReduce原理Python的pandas怎么做聚合进程和线程的区别TCP和UDP的区别总结：把脑子干懵的一场面试，等后续...

🕒 岗位/面试时间大数据研发实习生👥 面试题目一面（35min）3.11：数开实习深挖巨基础八股 shuffle过程 SQL语言执行顺序等等做题 自己共享屏幕写（5min）：一道算法一道SQL反问（5min）：老哥贼热情给我介绍部门以及转正情况啥的还给我画饼😇哈哈哈哈哈二面（35min）3.12：数开实习深挖巨基础八股 hdfs读写流程 数仓分层等等做题 自己共享屏幕写（5min）：一道算法 合并有序数组一道SQL反问（2min）三面（15min）3.13：除了数开实习的其他实习深挖问问深度学习机器学习方面的基础知识反问（2min）1h后oc🤔 面试感受哥哥姐姐都可温柔，生怕问到我不会的那种感觉，流程推进也贼快😋💰 薪资待遇廉价劳动力😭 #实习# #数据人的面试交流地# #数据开发工程师# #百度# #百度实习# #数据分析#

面试内容一面：1、对那些数据库比较熟悉？2、mysql优化？3、数仓的架构，每一层的作用？4、你做的项目中数据清洗放在哪一层？5、数据怎么接入数仓的？6、实时项目也做过？说一下flink处理数据的流程7、任务断了，有重复数据怎么办？（我以flink为例说了怎么避免）二面：不问技术1、之前实习交过社保没？2、从之前的上司那里学到了什么？只说一点3、对未来的规划？4、整体的实习过程中，学到了什么？5、觉得找工作难吗？6、对加班有没有心理预期？总结1、这是23年的面试经历，有些问题已经记不清了，只记得全程一直在说话，本人背景一般，有面试已经是奇迹。讯飞还是讯飞，所有的问题都围绕简历项目问，没回答清楚...

本章主要介绍如今需要具备SQL 应用能力的岗位有哪些， 以及在这些岗位求职过程中，简历的准备、笔试环节、面试环节的基本流程与注意事项。帮助读者从全景视角了解相对完整的面试流程。1.1 哪些职位需要用职位需要用 SQL 在传统印象里，SQL 是一串串的代码字符，很多人错误地以为：只有研发岗位的程序员才需要跟这些看不懂的字符打交道。 然而，随着数字化时代的到来， SQL 这个词变得耳熟能详，为什么这么说呢？ 如图1.1 所示，回顾近10 年百度指数的数据，关键字“SQL”的搜索热度总体趋势逐年增长。到这里，你可能会问了：为什么现在 SQL 变得这么热门？ ...

我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！你花在简历上的时间有多少？小伙伴们回忆一下，在你过往的跳槽经历中，用了多少时间来回顾自己的工作内容和项目经历？简历是花了多长时间来写？简历从第一版到最后投递出去，总共改了多少次？如果屏幕前的你，只写了一版简历，就在各大互联网公司乱投，那大概率是拿不到好 Offer 的，或者即使拿到 Offer， Offer 含金量也是远低于你的真实水平。（换句话说，你损失了本该属于你的薪水和职级）大部分人忽...

1.自我介绍2.数据采集相关，怎么把kafka中的数据采集到mysql中？ 忘了3.hive，两张表的重复数据，怎么去重？ 回答distinct,group by ，开窗取第一条， 开窗函数是哪个？ 没回答上来4.udf函数写过吗，flink消费kafka中的数据写过代码吗，需要看代码？5.使用java干过那些代码？面试时长：10分钟，面试效果，差不足：对于简历上的内容，回答支支吾吾，甚至不能开口，所以面试失败面试官指点，认为hive sql只要熟悉就能胜任工作，在掌握一门计算语言，如java,python,就能干好工作挺感谢面试完别人指出你的缺点，当然面试挂了，问的都是些很简单的问题。面...

公司：好未来岗位：数据开发工程师形式：视频面试视频面试平台：牛客时长：30分钟流程：1、自我介绍。2、说一个最拿手的项目经历。3、了解阿里数仓OneData体系吗？4、了解大数据相关的应用框架吗？5、对SQL优化有了解吗？6、说一下Hive的工作原理。7、Hive有索引吗？8、Hive的内部表和外部表有什么区别？9、Hive的存储格式有哪些？10、星型模型和雪花模型有什么区别？11、做数据处理加工的时候有遇到过数据倾斜吗？如果出现数据倾斜，你有什么好的解决方案？12、在项目中遇到过什么技术难点或者说比较棘手的问题？你是怎么解决的？13、项目有什么亮点？14、讲一下完整的数据链路。用了哪些数据同...

我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！你是否有这样的问题？大部分人，包括我自己在工作第一次跳槽时，也会有类似的疑问：岗位这么多，我应该挑选什么样的岗位来投递呢？当前方向不感兴趣，想做另一个大数据方向怎么投递?感觉这家公司的岗位描述和我不太契合，但我很想去，怎么办？怎么感觉每家公司的岗位描述都写的要求这么高？好的岗位 = 人（自我定位） x 岗（岗位拆解）一个好的岗位，是人岗匹配的结果，“人”表示的是清晰的自我定位，包括对个人兴趣...

一面 约37min1. 介绍一下项目2. MongoDB分布式存储是怎么做的？- 数据分片是怎么做的？- 如何保证节点间数据的一致性？- 如果有节点挂掉会怎么办？1. 地理数据如何索引？2. 喜欢用什么开发语言？-------二面 约40-50min- 自我介绍- 问了一些奖学金的情况- 介绍项目经历- 对分布式事务了解吗？解释一下分布式事务是做什么的- 如何保证分布式事务的原子性- 问如何找到最小生成树- 继续聊项目- 收获最大的项目是哪一个？- 是党员吗？有没有考虑入党- 对于加班怎么看- 什么时候能来实习-------笔试 30-60分钟HR小姐姐来通知有一轮线上笔试，笔试是进腾讯会议开摄像头，题目以word文档形式给出。非常简单的题目，最难的也就是简答题里问TCP/IP三次握手和四次挥手，后面有几道SQL题，不用怎么准备。-------三面 30min因为科研课题跟那边的业务比较相关，围绕着这方面问了一些问题。后面就是聊聊天。最后是做性格测评，应该通关了=======================24.01.12更新已OC，总包21w #23届找工作求助阵地# #牛客在线求职答疑中心# #国企#

大数据开发工程师岗笔试题型：单选 + 多选 + 三道编程题编程题1：根据输入的数组构建二叉树，并输出层序遍历的结果输入：{3,9,20,#,#,15,7}输出：[[3],[9,20],[15,7]]这道题就是建树麻烦点，层序遍历常规操作，注意格式就行。 #include <iostream> #include <vector> #include <string> #include <queue> using namespace std; struct Node { int value; Node* left; Node*...

我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！2024 年的求职情况，很多小伙伴都已经感受到了，虽然企业逐步放开了招聘规模，但是裁员造成的人才涌入加速了求职内卷。所以我们不能期望像以前一样，随便扔个简历都能被捞起来面试，或者不针对性的准备就想拿到 offer。大纲介绍：误区：面试 != 基础知识题问答分析人岗匹配度利用简历引导面试官挖掘自己的核心竞争力常见知识点准备面试细节小 tips长期主义选 offer1. 误区：面试 > 基...

投递岗位：大数据开发工程师（广州）时间线：9.5投递，9.13技术一面，9.17技术+hr二面，9.19测评，10.7 意向JD如下，岗位偏数据平台建设，非数仓面经技术自我介绍项目中最大的收获是什么，数据治理讲一下hive分区表怎么创建（具体到关键字），分区的好处，怎么设计分区hive分桶表怎么创建（具体到关键字），分桶的好处hive外部表建表语句 （具体到关键字）hive sql执行顺序 按关键字说一下（面试官似乎对hive的基础很执着......）spark shuffle说一下 能说多少说多少会flink吗数据湖了解吗HR挂科补考过吗保研还是考研怎么看天翼云，了解云计算吗目前有哪些off...

有了解竞技世界这个公司的嘛？内部怎么样呀，求指点~岗位：数据开发工程师（北京）时间线：一周时间一面，二面，HR面，效率很高面试很基础，场景题有大量引导：1. 接口和抽象类的区别2. Java和C++的区别3. JVM内存区域划分，分别的作用，GC发生在哪里4. GC算法有哪些，为什么要分代收集，为什么新生代用复制算法，展开讲一下自己的相关了解5. TCP/IP模型和作用，DNS是哪一层，应用层有哪些协议6. HTTP和HTTPS区别7. Arraylist和LinkedList区别8. 1-n的n+1个数，找重复数字9. 归并排序、快排、堆排分别的复杂度和应用场景10. b+树，三范式，表和表的join方式11. 1g内存，找两个亿级数据大文件中的交集12. Redis相关场景，缓存一致性问题，并发场景下怎么优化13. 项目相关，只展开不深挖，有点偏HR的问题总结：总体体验很好，由于虽然自己不是做大数据的，但面试官还是从简历出发考察基础和思维能力，并且讲了很多学习方法和思考。算是为数不多流程推进迅速且面试体验良好的公司了，但是网上风评不太好，所属部门应该是做用户的大数据分析相关，希望懂行的前辈指点一下#24届软开秋招面试经验大赏#

我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！数据倾斜的解决方案解决方案五：将reduce join转为map join方案适用场景：在对RDD使用join类操作，或者是在Spark SQL中使用join语句时，而且join操作中的一个RDD或表的数据量比较小（比如几百M或者一两G），比较适用此方案。方案实现思路：不使用join算子进行连接操作，而使用Broadcast变量与map类算子实现join操作，进而完全规避掉shuffle类的...

投递岗位：大数据开发工程师（广州）时间线：9.5投递，9.13技术一面JD如下，岗位偏数据平台建设，非数仓面经做个简单的自我介绍实习的项目介绍下项目里的漏斗分析怎么做的怎么和不同岗位的同学沟通，有没有遇到什么问题数据治理，概括说一下做了哪些事情大表join大表，怎么优化的，你觉得还有哪些优化方法了解数据建模的过程吗，有哪些建模方法实习公司的数仓分层架构，每一层做了什么事，为什么这样分层你觉得如何衡量数仓好坏聊了下数仓周边的生态建设反问部门业务&技术栈碎碎念第一批流程还是挺快的，C9免笔试，一面是两位技术面试官轮流提问，主要结合实习经历和项目进行提问，时长在30分钟左右。几乎没有怎么拷问...

互联网：京东物流-数据研发工程师-离线数仓（8.14 16:00）一面30min：1.数仓分层2.数据治理3.业务使用的内部表和外部表4.数据倾斜是怎么处理的5.三道sql（join，group by，rank窗口函数、ddl语句删表和删分区）快手-主站-数据开发工程师一面（通用面）-40min（8.17 11:00）1.介绍美团项目2.数仓分层3.join的mr过程4.SQL：pv和uv的计算5.python题：装饰器模式6.Java题：浮点数开平方、二叉树的层序遍历二面（通用面）-45min（8.22 14:00）1.介绍一个最满意的项目1.1用没用过别的解析工具，知不知道spark用什么...

调优概述在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各种异常。总之，无论是哪种情况，都会导致Spark作业的运行效率低下，甚至根本无法运行。因此我们必须对Spark作业的资源使用原理有一个清晰的认识，并知道在Spark作业运行过程中，有哪些资源参数是可以设置的，以及如...