大数据开发工程师

这可能更像是一篇转行自学经验贴。 ------------------------------------------------------------------------------------------------------------------------------- 吐槽一下，牛客的markdown真的不好用呢，排版好痛苦==，强迫症接受不了啊喂ヽ(●-`Д´-)ノ 最沉重的秋招教训 *********************************************************************...

前天刚签完三方，秋招也算正式结束了，我找的是大数据开发岗位（偏平台开发/框架开发，非数仓（数仓理论不会）），秋招投了：阿里、腾讯、字节、快手、华为，拿了字节、快手、华为的offer。一路过来受到很多人的帮助，所以也想写一贴（算是分享贴？）分享下之前自己的学习途径。如果对读者有帮助，那太好了哈哈哈哈哈，很开心。如果有错，欢迎批评指正！帖子分两部分吧：个人学习经历和框架学习建议（感觉也不算建议，大家互相探讨就行） 面经相关： 牛客上在大数据方面其实大佬很多很多，之前我也是看了他们的面经贴学了很多，在这列举下哈哈哈哈哈哈（一定不全，欢迎补充）： reswqa...

接下来这几道题，算是所有面经里面出现频率最高的（仅限牛客大数据开发面经分享），有的公司甚至一二面都常有重复的题（比如美团~）。 公众号：旧时光大数据 一、Hadoop部分 一、HDFS文件写入和读取过程 可灵活回答： 1）HDFS读写原理（流程） 2）HDFS上传下载流程 3）讲讲（介绍下）HDFS 4）HDFS存储机制 问过的一些公司： 阿里×3，阿里社招，腾讯x2，字节x2，百度，拼多多x2，浩鲸云，小米，流利说，顺丰，网易云音乐×2，有赞×2，祖龙娱乐，360×2，商汤...

刚刚在牛客上搜“大数据开发学习路线”，正好搜到之前一个师弟的帖子，师弟当时学习路线基本上就是我以前学习时总结的路线。 这篇学习路线是当年我秋招完，根据自己学习的资料整理的，基本上是避开了不少坑。 在其他平台的一个数据： <stron> </stron> 因为牛客上不能放链接，所以我看过的一些视频、资料，这里就没放链接了。 一、前言 说在最前面，可能有些地方理解的不是很好，有不好的地方，望见谅，毕竟每个人想法不一样，不喜勿喷，谢谢~ 要从事计算机行业的工作，不管是什么工作，开发、测试、还是算法...

数据仓库总结 一、数据仓库概述 首先，我们先来看下数据库、数据集市、数据仓库以及数据湖的概念。 1、什么是数据库？ 数据库（Database）是按照一定格式和数据结构在计算机保存数据的软件，属于物理层。 最早期是广义上的数据库，这个阶段的数据库结构主要以层次或网状的为主，这是数据库的数据和程序间具备非常强的依赖性，应用有一定局限性。 我们现在所说的数据库一般指的是关系型数据库。关系数据库是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，具有结构化程度高，独立性强，冗余度低等优点。 关系型数据库主要用于联机事务处理OLTP（On-Line T...

为了帮助实验室的师弟师妹找到一个心仪的工作，老刘把找工作分为多个环节，今天对面试过程中的自我介绍环节进行详细讲解，希望可以帮到他们，也希望能够帮助到各位网友！ 自我介绍的重要性 自我介绍是面试过程中非常重要的一个环节，特别是受疫情影响，很多公司的线下面试改为了线上的电话面试或者视频面试，一般第一个问题都是自我介绍，它会影响面试官对我们的提问，所以自我介绍非常重要。 怎么样做好自我介绍？ 首先，面试官为什么要我们做自我介绍？ 在面试的过程中，面试官有我们的简历，他自己可以对照简历来看，但是他为什么还要让面试者来做自我介绍。起初老刘也不理解，参考了很多资料以后才慢...

个人简介         学历：双非； 专业：软件工程； 求职岗位：大数据开发工程师； 状态：已上岸 翻车经历         学校以Java后端开发为主流，我从大二开始学习Java，直到大四都会学习与Java开发相关的技术栈。大三前的假期，我被大数据的技术栈所吸引，开始将方向转向大数据领域。从此开始Java后端与大数据双路线并行学习（翻车）。由于我严重低估了学习大数据技术栈所需要的时间，同时开发环境总是存在问题，加之八月份硬盘离奇烧掉，导致九月份开始秋招投递，严重耽误秋招进程，成功翻车。 秋招经历         秋招的大体流程：笔试=>第一...

9.19号 录用通知 - 9.13号性格测评 - 9.9号一面 一直等待进面试，场控30小时才开始 三个面试官 群面 1.自我介绍一分钟 2.为什么工作后考研 3.项目提问 4.大数据项目中的项目架构 5.flume拦截器思路 6.算法归并排序思路 7.家人情况 8.未来职业规划 问的都比较简单，不难 搞了个23届湖南联通数科群，私我进

背景 最近非常多的师弟师妹加了老刘的微信，询问如何准备大数据开发项目的问题，如下图所示。 有的师弟师妹想准备一个项目去实习，有的师弟师妹想准备一个项目去秋招，大家都在为自己的未来好好准备。 咱大多数人都因为各种原因没有企业实习经历，没有企业实习经历更加不可能有项目经历了。 为了帮助大家解决项目问题，老刘结合自身特点（没钱），搜寻了一些免费学习资源，直接跳过了一些收费项目，总结了四个免费的大数据项目资源，希望能够对你们有帮助，找到心仪的工作！ 需要说明的是，有几个项目是老刘去年在b站上接触的项目，大家今年可能存在搜不到的情况。 离线数仓之在线教育项目 项目介绍 这个项目是网络上...

一面(12-26 30min)自我介绍3道sql题(主要考察hive sql的基本语法，开窗，常见函数这种)数仓分层讲一下项目中有遇到数据倾斜吗，怎么解决的hive列转行函数了解吗反问：对数据仓库未来湖仓一体的架构怎么看, 部门职责, 工作时间二面(12-30 20min)开场先聊了会天，面试官很健谈。sql语句，口述运行结果在做这个项目的过程中遇到的最大的挑战是什么？聊了下《大数据之路》这本书的内容。口头offer了。

1、Hive表关联查询，如何解决数据倾斜的问题？（☆☆☆☆☆） 1）倾斜原因 map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大 （1）key分布不均匀 （2）业务数据本身的特性 （3）建表时考虑不周 （4）某些SQL语句本身就有数据倾斜 如何避免：对于key为空产生的数据倾斜，可以对其赋予一个随机值 2）解决方案 （1）参数调节：  hive.map.aggr = true  ...

看了不少面经，来回馈一下牛客。笔者双非大三软件工程专业，近俩年的大数据学习经历，三月份开始投递简历，经历了腾讯二轮技术面、字节二轮技术面，阿里测评 + 笔试 ，之后的面试拒了。面试都比较顺利全部通过，3.25拿到了字节data 大数据开发——电商 实习offer（腾讯岗位方向不符，二面挂了），拿到字节的offer之后 部门工作都很满意 就直接摆烂  没面阿里了 简单介绍一下我自己，大一进入学校的acm校队，打了一年多算法比赛，lc400题选手，大二学习重心转向大数据，到如今一年半多的时间，可能是因为我有竞赛经历，所以面试没考算法 3/10 腾讯 运营开发 一面 因为面试官和...

写在前面 大家好，我是小牛， 微软程序员一枚，之前经常看见大家在 牛客上有 面经分享，但大多数没有答案。由于小牛和几个BAT小伙伴整理了相关八股文题库，这次就当一回工具人，把题目和对应的答案奉上。 这次面经基本都被我之前整理的大厂面试八股文涵盖了，有兴趣的同学可以到我之前的讨论贴查看我之前整理的八股文 进程和线程的区别 进程是操作系统中最重要的抽象概念之一，是资源分配的基本单位，是独立运行的基本单位。 线程是进程划分的任务，是一个进程内可调度的实体，是CPU调度的基本单位，用于保证程序的实时性，实现...

实习 字节 字节一面 java gc收集器有什么，都用了什么gc算法 串行垃圾回收器（Serial Garbage Collector） 串行收集器是最古老，最稳定以及效率高的收集器，可能会产生较长的停顿，只使用一个线程去回收。新生代、老年代使用串行回收；新生代复制算法，老年代标记-压缩；垃圾收集的过程中会Stop The World（服务暂停） Parallel Old 收集器 Serial 收集器的老年代版本，它同样是一个单线程收集器。它主要有两大用途：一种用途是在 JDK1.5 以及以前的版本中与 Parallel Scavenge 收集器搭配使用，另一种用途是作为 CMS...

刚刚在牛客的面经分享部分看了下，前几篇面经，Spark Shuffle就被问到了多次 比如： 比如： 还有很多，大家可以在牛客网的讨论区看下其他牛友分享的面经，基本上就知道面试官是怎么去问，我们又该思考如何去回答。 牛客面经中常问的问题： 介绍下Spark Shuffle 问过的一些公司：字节x7，字节(2021.08)-(2021.10)，爱奇艺，头条，第四范式，陌陌 x 3，蘑菇街，美团 x 6，美团(2021.08)，海康，网易云音乐，阿里，商汤科技，作业帮社招，京东，携程(2021.09)，腾讯云(2021.10) 带年份...

其实距离上次跳槽已经过去了三个月，我已经入职了新东家。今天终于克服懒癌准备一鼓作气发一下社招大数据的面经。 我是牛客的1v1的辅导老师之一星星。哈哈哈，为了证明一下我除了面试别人，自己去面试也还行，也拿自己的经历出来探讨一下。 【面试准备】 刷题：因为毕业比较久了，首先刷LeetCode热了个身。后来发现可能因为真的离应届生比较久了，没怎么考算法。 简历：我一直相信简历是工作经历的总结也是面试的思路，而非简单的一张纸或者说用来过简历评估。所以我简历改了2个星期，面试中间又做了一些改动。 制定招聘策略： 1.关于机会，首先我其实联系了几家猎头，聊了一些，觉得都...

先说一下楼主个人情况：本科双非+研究生211+无实习；2020-02开始转战Java+大数据，数据库基础较好。 以下是秋招情况：投递78家公司+笔试N场+面试34场； 作业帮 1面、2面、HR面、已意向书 字节跳动 1面、2面、3面、已意向书 美团点评 1面、2面、HR面、已意向书 顺丰科技 1面、2面、HR面、已意向书 有赞 1面、2面、HR面、已意向书 浪潮 AI面、1面、已意向书 华为 1面、2面、主管面（流程中） 小米 1面、2面（流程中） 京东 1面（流程中） 美的集团 1面、2面（已拒） 58同城 1面、2面、HR面（已拒） 贝壳 1面 跟谁学 ...

1、对于秋招的建议 秋招真是一路被刷到底，不想过多叙述失败经历，更多的是分享在秋招中提炼出来的学习能力和一些感悟。对于秋招的准备，首先需要明确自己想要从事的工程师岗位，在确定所从事工程师岗位的技术栈，不断聚焦去学习，学太多没用的东西既浪费时间也消耗精力。并且对于秋招的策略： 第一步：我认为在3月和四月，如果学习基础不错，直接去实习，无论能不能转正，对于后面的秋招都具有重大意义， 第二步：如果没有实习机会，我们就要面向简历复习，从基础知识点到项目细节，都必须不断深挖，还要对常规算法题的熟练掌握。 第三步：在正式秋招中，从7月就陆陆续续开始了，这里面有一定的策略，...