大数据开发工程师

大数据面试题V3.0   一、前言   大家好，我是蓦然。   距离大数据面试题V2.0过去三个多月，V3.0题目基本上就整理好了，所有面试题来源于牛客网上牛友们分享的面经，我主要是整理汇总。   2.0版本时，面试题整理了401道题，大约整理了500篇面试题，现在3.0，把当时剩下的370+也整理完了，虽然面经数量有370+，但新题基本上不多了，整理完，共480道题。很多都是以前问过的，所以新增的题目不多。之前预计是7月份左右3.0才能整理好，不过疫情在家隔离了一段时间，除去居家办公，剩余时间也相对多了不少，抓紧时间就把3.0整理完了，现在在慢慢整理一套比较完整的大数据开发学习视频，这个就后...

前天刚签完三方，秋招也算正式结束了，我找的是大数据开发岗位（偏平台开发/框架开发，非数仓（数仓理论不会）），秋招投了：阿里、腾讯、字节、快手、华为，拿了字节、快手、华为的offer。一路过来受到很多人的帮助，所以也想写一贴（算是分享贴？）分享下之前自己的学习途径。如果对读者有帮助，那太好了哈哈哈哈哈，很开心。如果有错，欢迎批评指正！帖子分两部分吧：个人学习经历和框架学习建议（感觉也不算建议，大家互相探讨就行）       面经相关：   牛客上在大数据方面其实大佬很多很多，之前我也是看了他们的面经贴学了很多，在这列举下哈哈哈哈哈哈（一定不全，欢迎补充）：  reswqa，  InstantCW...

刚刚在牛客上搜“大数据开发学习路线”，正好搜到之前一个师弟的帖子，师弟当时学习路线基本上就是我以前学习时总结的路线。            这篇学习路线是当年我秋招完，根据自己学习的资料整理的，基本上是避开了不少坑。   在其他平台的一个数据：   <stron> </stron>     因为牛客上不能放链接，所以我看过的一些视频、资料，这里就没放链接了。   一、前言   说在最前面，可能有些地方理解的不是很好，有不好的地方，望见谅，毕竟每个人想法不一样，不喜勿喷，谢谢~    要从事计算机行业的工作，不管是什么工作，开发、测试、还是算法等，都是要有一门自己比较熟练...

接下来这几道题，算是所有面经里面出现频率最高的（仅限牛客大数据开发面经分享），有的公司甚至一二面都常有重复的题（比如美团~）。   公众号：旧时光大数据   一、Hadoop部分     一、HDFS文件写入和读取过程   可灵活回答：   1）HDFS读写原理（流程）   2）HDFS上传下载流程   3）讲讲（介绍下）HDFS   4）HDFS存储机制   问过的一些公司：   阿里×3，阿里社招，腾讯x2，字节x2，百度，拼多多x2，浩鲸云，小米，流利说，顺丰，网易云音乐×2，有赞×2，祖龙娱乐，360×2，商汤科技，招银网络，深信服，多益，大华，快手，电信云计算，转转，美团x4，sho...

数据仓库总结  一、数据仓库概述   首先，我们先来看下数据库、数据集市、数据仓库以及数据湖的概念。   1、什么是数据库？   数据库（Database）是按照一定格式和数据结构在计算机保存数据的软件，属于物理层。   最早期是广义上的数据库，这个阶段的数据库结构主要以层次或网状的为主，这是数据库的数据和程序间具备非常强的依赖性，应用有一定局限性。   我们现在所说的数据库一般指的是关系型数据库。关系数据库是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，具有结构化程度高，独立性强，冗余度低等优点。   关系型数据库主要用于联机事务处理OLTP（On-Line Transact...

为了帮助实验室的师弟师妹找到一个心仪的工作，老刘把找工作分为多个环节，今天对面试过程中的自我介绍环节进行详细讲解，希望可以帮到他们，也希望能够帮助到各位网友！   自我介绍的重要性   自我介绍是面试过程中非常重要的一个环节，特别是受疫情影响，很多公司的线下面试改为了线上的电话面试或者视频面试，一般第一个问题都是自我介绍，它会影响面试官对我们的提问，所以自我介绍非常重要。   怎么样做好自我介绍？   首先，面试官为什么要我们做自我介绍？   在面试的过程中，面试官有我们的简历，他自己可以对照简历来看，但是他为什么还要让面试者来做自我介绍。起初老刘也不理解，参考了很多资料以后才慢慢明白其中的道...

先说一下楼主个人情况：本科双非+研究生211+无实习；2020-02开始转战Java+大数据，数据库基础较好。   以下是秋招情况：投递78家公司+笔试N场+面试34场；       作业帮 1面、2面、HR面、已意向书 字节跳动 1面、2面、3面、已意向书 美团点评 1面、2面、HR面、已意向书 顺丰科技 1面、2面、HR面、已意向书 有赞 1面、2面、HR面、已意向书 浪潮 AI面、1面、已意向书   华为 1面、2面、主管面（流程中） 小米 1面、2面（流程中） 京东 1面（流程中） 美的集团 1面、2面（已拒） 58同城 1面、2面、HR面（已拒） 贝壳 1面 跟谁学 1面、2面 VI...

大数据开发2019春招面经      个人情况：   末流985本科，非科班。已拿offer：浪潮(放弃)、光大科技(打算入职)      求职经历：   因为应届招大数据的公司不算很多，再就是今年缩招。所以，我几乎将所有开放了春招且有大数据岗位的公司都投了。   笔试/面试的高峰期集中在2月底和3月中上旬，几乎每天都有笔试或面试，有时一天就有3场。   因为接下来的公司没有太多中意的（能力有限一线大厂进不了，二线公司感觉不如光大），另外，个人比较喜欢金融，光大的待遇也还可以，所以，已经打算入职。   激情又疲惫的春招算是告一段落了，感谢牛客网，感谢一直没有放弃的自己。祝各位求职顺利。    ...

前言:  看到牛客上大数据开发面经特别少,面试基本没刷到相关面经.都是刷的JAVA开发的面经.来这里补一帖.回馈一下老铁们.  自身情况:  本硕末流211 leetcode刷题300+,剑指offer全刷,刷过的题基本上都能码出代码(不一定能过OC,现场面无影响). SQL很熟练,面试没遇到过不会的.一些业务SQL(留存,在线时长,漏斗,连续登陆天数,共同关注好友等等等)也写的很熟练. 理论复习了数据仓库理论/数据分层理论(精读了维度建模工具箱+阿里大数据之路两本书),操作系统,计算机网络,JAVA所有(基础+源码+多线程+JVM),Mysql(看了两遍高性能mysql) 大数据组件准备了H...

背景 最近非常多的师弟师妹加了老刘的微信，询问如何准备大数据开发项目的问题，如下图所示。 有的师弟师妹想准备一个项目去实习，有的师弟师妹想准备一个项目去秋招，大家都在为自己的未来好好准备。        咱大多数人都因为各种原因没有企业实习经历，没有企业实习经历更加不可能有项目经历了。 为了帮助大家解决项目问题，老刘结合自身特点（没钱），搜寻了一些免费学习资源，直接跳过了一些收费项目，总结了四个免费的大数据项目资源，希望能够对你们有帮助，找到心仪的工作！ 需要说明的是，有几个项目是老刘去年在b站上接触的项目，大家今年可能存在搜不到的情况。  离线数仓之在线教育项目 项目介绍 这个项目是网络上能...

1、对于秋招的建议    秋招真是一路被刷到底，不想过多叙述失败经历，更多的是分享在秋招中提炼出来的学习能力和一些感悟。对于秋招的准备，首先需要明确自己想要从事的工程师岗位，在确定所从事工程师岗位的技术栈，不断聚焦去学习，学太多没用的东西既浪费时间也消耗精力。并且对于秋招的策略：   第一步：我认为在3月和四月，如果学习基础不错，直接去实习，无论能不能转正，对于后面的秋招都具有重大意义，   第二步：如果没有实习机会，我们就要面向简历复习，从基础知识点到项目细节，都必须不断深挖，还要对常规算法题的熟练掌握。   第三步：在正式秋招中，从7月就陆陆续续开始了，这里面有一定的策略，首先还是如果知识...

看了不少面经，来回馈一下牛客。笔者双非大三软件工程专业，近俩年的大数据学习经历，三月份开始投递简历，经历了腾讯二轮技术面、字节二轮技术面，阿里测评 + 笔试 ，之后的面试拒了。面试都比较顺利全部通过，3.25拿到了字节data 大数据开发——电商 实习offer（腾讯岗位方向不符，二面挂了），拿到字节的offer之后 部门工作都很满意 就直接摆烂  没面阿里了   简单介绍一下我自己，大一进入学校的acm校队，打了一年多算法比赛，lc400题选手，大二学习重心转向大数据，到如今一年半多的时间，可能是因为我有竞赛经历，所以面试没考算法   3/10 腾讯 运营开发 一面   因为面试官和我的发展...

9.19号 录用通知   -   9.13号性格测评   -   9.9号一面 一直等待进面试，场控30小时才开始      三个面试官 群面      1.自我介绍一分钟   2.为什么工作后考研   3.项目提问   4.大数据项目中的项目架构   5.flume拦截器思路   6.算法归并排序思路   7.家人情况   8.未来职业规划      问的都比较简单，不难      搞了个23届湖南联通数科群，私我进

写在前面   大家好，我是小牛， 微软程序员一枚，之前经常看见大家在 牛客上有 面经分享，但大多数没有答案。由于小牛和几个BAT小伙伴整理了相关八股文题库，这次就当一回工具人，把题目和对应的答案奉上。   这次面经基本都被我之前整理的大厂面试八股文涵盖了，有兴趣的同学可以到我之前的讨论贴查看我之前整理的八股文           进程和线程的区别   进程是操作系统中最重要的抽象概念之一，是资源分配的基本单位，是独立运行的基本单位。   线程是进程划分的任务，是一个进程内可调度的实体，是CPU调度的基本单位，用于保证程序的实时性，实现进程内部的并发。   线程是操作系统可识别的最小执行和调度单...

其实距离上次跳槽已经过去了三个月，我已经入职了新东家。今天终于克服懒癌准备一鼓作气发一下社招大数据的面经。   我是牛客的1v1的辅导老师之一星星。哈哈哈，为了证明一下我除了面试别人，自己去面试也还行，也拿自己的经历出来探讨一下。   【面试准备】   刷题：因为毕业比较久了，首先刷LeetCode热了个身。后来发现可能因为真的离应届生比较久了，没怎么考算法。   简历：我一直相信简历是工作经历的总结也是面试的思路，而非简单的一张纸或者说用来过简历评估。所以我简历改了2个星期，面试中间又做了一些改动。   制定招聘策略：   1.关于机会，首先我其实联系了几家猎头，聊了一些，觉得都不靠谱，最后...

前言   1. 作者背景：   作者本科就读于山西农业大学(双非)，研究生就读于悉尼大学，于2020年1月毕业。整个学习生涯所学专业为计算机，有一个实习和培训经历，本次春招大部分应聘岗位为大数据。整个春招由于我还有别的事情（比如发论文等等）导致准备不足，只刷了leetcode 200题左右，看了一些面经，所以没有拿到我最喜欢企业的offer，也是有些遗憾吧。   2.春招简单过程：   春招面试几十家公司企业，主要有民营（字节跳动，华为，携程，阿里，搜狐，美团，小米，爱奇艺，快手，东方国信等），国企和研究院（央视网，中国外运，中国医科院信息所，中国电子科学研究院，中国移动设计院，中国信息通信研...

1、Hive表关联查询，如何解决数据倾斜的问题？（☆☆☆☆☆）   1）倾斜原因   map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大   （1）key分布不均匀   （2）业务数据本身的特性   （3）建表时考虑不周   （4）某些SQL语句本身就有数据倾斜   如何避免：对于key为空产生的数据倾斜，可以对其赋予一个随机值   2）解决方案   （1）参数调节：   hive.map.aggr = true  hive.groupby.skewindata=true  有数据倾斜的时...