哈哈哈,你是老六 level
获赞
4664
粉丝
821
关注
17
看过 TA
2.3W
门头沟学院
2022
大数据开发工程师
IP属地:北京
暂未填写个人简介
私信
关注
0 点赞 评论 收藏
分享
我感觉牛客对于大数据似乎比较少,我给大家介绍一下大数据吧,目前对于各大公司其实都是需要看数据,但数据比较分散对于各个业务和数据研发来说比较松散,而且数据在各个平台不好管理,同时如果要进行联邦查询就比较麻烦,所以大数据就来了,将公司各个业务的数据都接入大数据平台,通过专业的数据开发工程师来管理和建设数据资产,同时对于数据来说专业的人也更清晰,只提供给需求方需要的数据,同时对于一些很大的数据需要大数据部门解决问题,还是一句话专业的事情还是要专业的人来解决,下面我来说一下大数据需要怎么学和怎么入门1 学习的话需要学习基础开始,比如hive,spark,flink,还有kafka基础开发,然后scala,sqlPython都要会点,如果是玩flink开发的话需要会JAVA一些基础,同时对于数据工程师还要熟练用数据平台和数仓建模,对于数据模型数据域主题域建设都需要会,同时对于数据倾斜都要会,这些是大数据入门要会的2 大数据进阶,对于大数据这一套会了之后就要开始学习大数据的湖仓这一套了,比如paimon,hudi,iceberg,对于OLAP引擎需要会StarRocks和doris这些吧,还有就是性能调优,flink实时开发对于我上面说的大数据都可以开始先学习起来,对于大数据的简历和技术难题和技术指导大家都可以找我私聊,我干这一块都3年多了,感觉干的还算是比较久了
0 点赞 评论 收藏
分享
不知不觉间来北京也3年多了,目前工作也3年多了,不管是经验还是技术都成长很多了,也换了几家公司了,去过小公司也去过大厂,薪资也是每次换公司有增长,也经历过2次被裁,但每次被裁我都在走之前找到了下家,同时也涨薪了,也拿到了赔偿,下面分开讲一下1 楼主是江西的一所双非的大学的学生,当时在江西高考算是考的还行,在全省排前4万名,但江西大学211比较少只去了一个双非大学,也是选了当时学校第一届大数据开发专业,算是第一次在学校试点大数据了,大四顺利去了大学的实训,学习到了技术后面找到了实习开始一路神级打怪2 楼主第一次提升是突然在一年多之后投滴滴公司直接面试就过了,实现了薪资第一次涨薪50%,一下子年包从20万到了30多万,但滴滴过一年就部门合并我这被裁,后面就要找下家了,目前也是找到了,去年年前也是找到了新的下家涨薪30%,年包到了40起步了,算是提升了一下3 再来说一下技术,对于刚毕业只会大数据一些基础组件的技术,对于技术还是小学生水平,但后面去了滴滴第一次接触到了平台开始了大厂的技术平台这些第一次见的东西,算了长了见识,同时对于大厂规范也是学习了,后面对于大数据里面最难的实时也是接触了,同时对于性能调优和线上大问题也是会,目前对于大数据技术掌握也是比较强了,我感觉对于技术人来说一定要保持学习心态,尤其是面试,面试也是一种学习,我每个月都要面试,面试一些技术和行业规范等等吧,和面试官交流本质是一场技术和经验的交流4 对于未来的展望,对于技术来说永远要学习,同时对于刚毕业年轻人来说第一要义是学习,只有保持技术的精进才能变得强大,只有强大了才能有资格去更大的平台,提升自己的薪资和眼界,对于技术同样如此,大家有问题随时可以找我
0 点赞 评论 收藏
分享
希音这家公司也是第一次面试,感觉整体还是偏难的1 先做个自我介绍2 讲一下你目前做的项目,主要是用了哪些技术栈,解决了哪些问题,做了哪些优化3 对于数据湖你能说一下各个湖仓的优缺点吗,你目前用的哪个,主要是用了哪一块技术和实现4 对于flink来说,对于一条主流一天有千亿级别数据,目前对于数据实时写入Doris存在这性能瓶颈,第一个问题是解析比较慢,第二个精确一致写入比较慢,你如果来优化需要怎么入手,对于优化的话怎么实现不延迟不oom5 目前有个场景,需要每10秒看到某个APP的主页的实时uv并且需要取top100个页面,你来实现如何做到实时秒级计算和展示,数据量级有亿级起步6 对于离线模型,如果存在一个画像需求,对于某些人群或者漏斗需要做到每天周期2点前产出,你如何保证这个时效性7 目前你建设模型是怎么建设的,如何确保你这个模型是合理的,有啥量化的8 对于数据倾斜如何快速定位,如何实现快速解决数据倾斜,除了加资源和join改变还有啥方法9 对于数据治理有啥好的办法快速治理,你来主导治理的话主要是从哪一块入手,解决哪些问题10 来个SQL题目,取一支股票的最大利润11 有啥需要找我了解的我这还是第一次面试这家公司,给我的感觉似乎还比较难啊,技术深度算是比较深了,对于面试的人来说必须要有这方面的经验才能解决上面的问题,要不然感觉估计答不出来
查看10道真题和解析
0 点赞 评论 收藏
分享

创作者周榜

更多
关注他的用户也关注了:
牛客网
牛客网在线编程
牛客网题解
牛客企业服务