入行大数据开发,需要的必备技能

从25年2月到现在,接触大数据开发已经有一年了,从MySQL,orcal,到flink

首先就是写SQL,毕竟大家大部分都是SQLboy,SQLgirl,SQL是基础,可以在力扣牛客上多刷题。手撕常考

数开作为技术岗中最贴近业务的岗位,理解业务过程并进行数仓建模是最重要的一部分

建模这块主要涉及,指标维度建设,数仓分层,讲解项目结合业务来讲.

技术栈主要分离线和实时,实时门槛工资相对高一点,但应用场景比离线少很多,离线是数仓的基础。

大数据技术栈主要是Hadoop生态圈,分布式的一些东西,也就是八股基础的得会,得理解整个架构运作流程,光背是记不住的

Hadoop,hive,spark离线最核心的技术栈,也是八股最常考的,

实时主要是spark,flink

其次是一些数据处理框架kafka,etl转换工具知道一些,怎么用的

大数据的框架搭起来比较麻烦,时间赶的不建议亲自搭环境,理解项目业务过程,这个项目做了什么,整个数据链路能讲清楚即可。

技术栈的一些相关学习渠道,博主是在B站上找视频学的,也够用,时间赶学重点就行,结合八股来看。

最后是算法手撕,本人算法很烂,除了大厂基本不考这个。出的题一般比较简单,会hot100就行

个人经验来看,简历上有了实时项目,很少问Hadoop八股,更偏重spark和flink。项目还是以离线为主。

实习发现实时数据只占很少一部分,离线是底盘

有了实习经历就不咋问项目了

#为了入行xx岗,我学了__# #大数据# #数据开发# #大数据开发#
全部评论
数据分析需要的技能和这个相似吗?
1 回复 分享
发布于 03-10 23:24 广东
确实 sql是基础
点赞 回复 分享
发布于 03-16 22:21 四川
姐能私聊吗,有些问题想问一下
点赞 回复 分享
发布于 02-14 23:18 湖北
背熟八股面试题,多刷手撕题,做好充足的准备去面试
点赞 回复 分享
发布于 01-22 18:05 云南
没实习的话影响大吗
点赞 回复 分享
发布于 01-22 14:13 广东
太强了求问有没有b站视频推荐
点赞 回复 分享
发布于 01-22 14:12 湖南

相关推荐

ByteIntern:面向2027届毕业生(2026年9月-2027年8月期间毕业),为符合岗位要求的同学提供转正机会。团队介绍:AIDP(AI Data Platform)是深度参与字节跳动 AI 数据管理与模型训练流程的数据基础设施团队,提供数据采集、清洗、标注、合成、验证、管理等全流程的数据服务和全面解决方案。加入我们,你能深度参与字节 AI 核心业务近距离接触真实的大模型训练场景,解决数据处理中的实际问题和优秀团队协作,在数据与模型的交叉领域积累实战经验;在数据与模型领域实现个人价值,推动行业进步。你的工作将直接影响 AI 技术的落地效果,推动技术真正服务于用户。1、围绕Seed大模型数据全生命周期,参与/负责大模型数据管理平台的数据基建的整体架构设计与建设,包括数据接入、处理、检索、跟踪、质量评估、权限合规等基础能力;2、构建Seed大模型海量数据的资产目录、标签体系、元信息管理及血缘分析能力,提升高质量数据挖掘效率与可用性,赋能算法预训练、SFT/RLHF等核心场景;3、协同基础架构/云平台团队,搭建稳定高效的底层数据基础设施(数据湖、对象存储、向量存储、分布式计算、元数据管理系统等);4、主导技术选型与架构优化,基于Spark/Flink/Ray、湖仓一体、向量数据库等技术栈,构建高吞吐、高容错、可扩展的处理存储能力,支撑日PB级数据处理。职位要求1、2027届本科及以上学历,计算机、通信等相关专业优先;2、具备大数据开发相关技能,熟悉Java/Scala语言,包括JVM、类加载、并发等;有较好的SQL基础;3、熟悉Flink、Spark、Kafka、ClickHouse、Doris、Hudi、Icebreg、Paimon中的部分大数据引擎,掌握原理及性能调优优先;4、善于沟通,对数据敏感,责任心强、积极主动;5、每周实习4天以上,连续实习3个月以上。
点赞 评论 收藏
分享
评论
6
39
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务