哈哈哈,你是老六 level
获赞
1877
粉丝
460
关注
15
看过 TA
1.0W
门头沟学院
2022
大数据开发工程师
IP属地:北京
暂未填写个人简介
私信
关注
大数据的学习方式以及实际开发项目讲到大数据很多人都感觉技术比较新学习的框架很多,编程语言都要,还有就是数据比较大对于头发也掉的多,下面我来介绍一下我的大数据学习计划以及接到一个项目该怎么实际上手开始开发大数据学习:其实我就是从一个菜鸟一步步到能自己独立开发并且能自己搭建企业级别的数仓,在大学前3年我甚至连jdk环境变量都不会配置,后面也是慢慢成长起来的,刚入门大数据很感谢我的一位老师是他教了我大数据基本框架搭建,后面就是自学了,我来讲一下新手要会哪些技术哈,首先Hadoop,hive,spark,SQL这几项是入门级别的,一定要会,后面可以从Kafka,flink,streamset,nifi,etl,数仓建模等等开始做了,这些是一个大数据开发工程师都是必须经历的,对于以上的技术栈也是我目前掌握的,如果以上你会的上班肯定没问题,可以搭建一个企业级别的数仓了学习方法:其实学习方法很多,很多培训机构都会有招生,但这个是花钱的,我喜欢自学不花钱还能学到很多东西,尤其是自己遇到一个报错花了很久解决我这时候就会写一篇博客来给后面遇到同样坑的,还有就是看网课,哔哩哔哩很多网课比如尚硅谷,黑马,尚学堂等等吧,都有很多网课自己有耐心经常看并且做总结学会了独立开发这样进步最快,看官网是最有效的,尤其是新出现的框架一定要学会看官网,尤其是一些特定的方法和函数,还有就是对外的api都是官网会有介绍的,我ck之前就遇到很多问题都是看官网解决的,百度csdn都是可以的里面的很多博客都有很经典的报错,通过这个也是可以解决大部分问题,如果以上都不能解决那就要自己慢慢解决了,可能解决一个报错要一周或者更久,我就有一个报错花了我一周才解决,以上等等都是可以学习的实际开发项目:对于接到一个新的需求和项目首先是要和需求方沟通需求,如果需求不明确绝对不能开始开发,如果出现问题就是你负责,还有就是一定要对于其中的需求进行深挖将后期可能会遇到的问题解决了,之后就是部门内部开始需求会一般部门会出一个技术方案部门和总监一般会过来一起评审确定可行性,对于有疑问和不对的地方会提出来完成后就会进行开发,后面开发完成就是测试没问题进行上线,上线了一般还会观察几天将任务跑的没问题就可以和需求方对接了,这其中可能会有新的问题出现这时候就要一起进行评审了没我呢在修改
0 点赞 评论 收藏
分享
聊聊大数据岗位(岗位,面试,工作)和需要懂的技术栈1,岗位哈:在我的理解中,大数据的工作其实还是很多的,其中主流是数据仓库一个公司有大数据就一定有数仓,其次就是还会有大数据etl工程师这个岗位一般是确保每天数仓的数据同步以及确保数据不能丢,如果事情比较急可能还会安排值班,还有就是大数据运维,大家都知道肯定有运维来维护集群,大数据运维还和别的运维不一样里面的很多配置需要懂大数据技术的人才能配置还有就是任务挂掉资源不足等,这种要专门的运维才能懂,其次就是还要有实时计算等等,干风控的肯定会有实时计算,对于flink的窗口,状态,定时器肯定要非常熟练这种也是对于技术要求很高的,至少要干几年的老手才能独立设计这个风控架构和实现2,面试,其实面试就是很常规都是问会哪些技术然后根据你的项目来问实现过程,还有就是面试官遇到的问题可能也会找你问,对于这种问题如果不是干过的人或者是了解比较深是难回答的,这种就要你有经验了,还有就是要钱了,如果你要25k起步那么你说的范围就要25-28,一定不要说啥20-28,就要直接说死最低下限对于要钱一定不要不好意思,当时我校招直接一口价直接要16面试前问清楚如果没有到直接就可以不面了3,工作,我来讲一下大数据日常的工作哈,拿数仓为例,大数据其实可以说是非常核心的工作也是非常重要的部门,管理全公司的所有数据也是直接对接公司的管理层需求也是很大的,尤其是建模和提供数据服务,对于数据来说调用是非常大的,对于所有的业务线基本上都会要数据,每天可能还会有数据异常以及调度任务的失败都是需要专人来解决的,还有就是风控的任务也是非常重要,对于这种活技术要求高并且部署任务资源和优化也是要考虑的,每天大数据开发工程师都是开发这种,一般任务排期都比较满,还有就是大数据团队一般也不要太多人,一般都是某个人负责一个模块4,最后来说一下大数据需要会的技术栈哈,还是拿数仓为例首先就是数据同步工具,主流的一般有这种,sqoop(一般是小数据,比如维度表),nifi做实时同步和全量拉取都可以,datax也是可以的数据建模工具:hive,建模理论,实时计算:flink,kafka数据服务:ck,superset,hbase,impala以上只是要会的框架,对于开发语言Java,Scala,python基本上都要会点,对于后端的
投递牛客等公司10个岗位
0 点赞 评论 收藏
分享
首先大数据作为最近几年新起的技术,和前端后台开发不一样的是主攻方向不一样,作为数据必有其价值,我们通过大数据组件来搭建数据平台,数据应用等等来实现数据时代,下面分2方面来说一下大数据要怎么找工作吧1.首先技术要过关,Hadoop,hive,spark,卡夫卡,flink,阿兹卡班,SQL,ck,Java,Python,Scala等技术和语言吧最好要会,而且SQL是必须要精通,如果不精通那就要多学,还有就是flink,现在作为实时计算框架首选,阿里带动了flink的推进,对于其中的窗口,定时器,转态,窗口处理函数,下沉,checkpoint机制是要会的,如果你会flink那么你的起点上限会很高,然后就是离线数仓的建模,etl任务以及数据监控,风控,等等吧,这些技术要会,上面的会了那么你对于大数据入门了,技术问题不大了2.工作经验和面试积累吧,大家都知道面试经验很重要,对于面试官提出的问题都是他实际遇到的而且是工作中必须遇到的,那么对于这种如果没有工作经验是搞不定的,不要和我说包装几年,你包装5年如果不会这些问题那么你还是没用人家一问就知道,其实对于面试遇到不懂的可以往自己会的地方带,比如你的etl任务用的调度框架是阿兹卡班,但人家问你海豚调度,那么你可以拿这个来解释一下,还有就是说我能立马学习掌握,其次就是面试要多复盘吧,不要放过每一次面试机会,可能就是这次机会让你佣有了一份高薪工作,还有就是每天都要加强学习,学习是永无止境的,我就是从菜鸡到的会各种技术吧,大家还有什么问题可以私下留言,我是一个大数据技术爱好者,对于前沿技术我都比较喜欢,欢迎大家来聊。
0 点赞 评论 收藏
分享

创作者周榜

更多
关注他的用户也关注了:
牛客网
牛客网在线编程
牛客网题解
牛客企业服务