大数据岗位选择（小白向）

楼主是23届985本（末流）科，专业是“数据科学与大数据技术”，学了几年说实话一点都没明白毕业了到底能做什么岗位。去年也是这个时候着急忙慌的春招找暑期实习，可是实际上连能做什么岗位都不知道，就直接在招聘官网搜“数据”，然后看到了大数据开发工程师。

实际上我压根不了解具体的工作内容，面试中也因此吃了很多亏。现在经过了史上最冷的”寒冬“，也有一定的实习经历，给大家伙简单说说我了解到的”数据“相关的岗位，一方面有利于大家根据自身情况选择方向，另一方面也可以在面试中避免信息差

技术向

一般的企业招聘岗位在大数据相关的岗位都是直接称为”大数据开发工程师“（但是不同的公司也会有区别，例如阿里的是：数据研发，腾讯的是：数据工程），这里面实际会包含到以下提到的多个不同方向岗位，需要大家在面试的时候和面试官确认（之前我在面试京东，面试官是大数据平台开发的直接给我问蒙蔽了），或者也可以通过JD来判断是否是自己的目标岗位

1.数仓开发

数仓开发分离线和实时，大数据开发中最常见的岗位，也是目前相对而言hc数量最多的岗位。楼主现在也是属于这个岗位。数仓开发是一个技术性和业务性结合的岗位，需要在会技术的同时有业务的敏感度，因为大部分时候数仓的需求都需要深入的去了解业务。

数仓开发的日常工作总结一下就是：

熟悉业务逻辑；
使用大数据组件；
分层建模。

需要的技能大概是：

SQL；
数仓建模；
离线的话 Hive、Spark 的原理以及调优，数据倾斜处理；
实时的话 Flink 的原理；
MapReduce 原理。
对业务敏感。

简单来说就是 SQL boy。

2.大数据平台开发

公司一般都要给数据研发同学提供一站式数据开发平台。比如操作 Hive 或者 HDFS，是在开源的组件里那种难用的黑框框里写 SQL 或者 Shell 脚本吗？No！公司都有一站式数据开发平台，具体内容是：

开发数据研发同学需要的开发工具，统一的前端页面，可以对 SQL 进行语法校验、格式化代码等功能，让数仓的同学开发更轻松；
能够可视化 CPU、内存等资源的使用情况。
开发数据可视化的工具（BI 工具）。

需要的技能大概是：

Java、Scala 语言，包括 JVM、类装载、线程、并发、IO资源管理、网络；
微服务架构；
Web 后端技术栈；
熟悉数仓开发流程（知道数仓开发的同学要用到什么，才能开发出好的一站式开发套件）；
熟悉 hadoop / flink / spark 等。

类似于 Java 后端开发。但是同时也需要非常了解大数据组件的底层原理，面试中会兼顾大数据与后端开发的内容

在企业招聘中也可能会单独招聘”大数据平台开发“或”JAVA开发（大数据）“。

3.基础组件开发

大公司一般不会把开源框架直接来使用，一般是会二次开发，实现一些定制化功能，比如

把 ClickHouse 魔改一下突破性能瓶颈；
对 Flink 二次开发优化；
开发新的大数据存储系统、查询系统。

上面只是举例，具体就不一一枚举了，需要的技能大概是：

熟悉 Flink、Spark 等一种或多种大数据组件的原理和源码；
Java、Scala、C++ 等编程语言要熟练；
存储系统经验等；
设计模式。

可能类似于 java 中间件开发？或者基础设施开发。

4.数据测试

数仓开发的 SQL 也是有测试人员写 case 测试的，测试完才能上线。要求和数仓开发差不多，但要会测试相关的知识。这也是我认为未来有扩张趋势的岗位

PS：在以上的岗位中，从个人角度来看数仓目前的就业情况较好，因为现在在平台和组件开发中各个公司基本都完成了，平台开发的同学大部分时候是类似于运维的功能。但是，从职业前景而言，大数据平台开发跨后端开发以及数仓，应对行业风险的能力更强。

业务向

业务向的岗位我了解不多只做简单描述。

1.数据分析师

数据分析师在互联网公司中会分为两种，一是传统的数分，二是我们称为商业数据分析（商分），二者的工作内容相差不大，但是商分的一般会直接向大老板汇报。

数分会较多考察数学能力和一些分析归因的能力。当然还有一些分析工具的使用，从Python到Excel，不同的职位有不同的要求。岗位数量很多，无论大公司还是小公司，都有相关岗位。更加适合不喜欢写代码，但又想从事数据相关工作的同学。但是目前在互联网公司里，数分卷的程度不亚于产品，基本都是985硕+大厂实习，对业务的敏感性也要求比较高

日常工作：