数据开发工程师日常工作是怎样的?

最近有朋友问我,大数据开发平时工作都干些什么?需要写代码吗?

今天,就来给简单说一下,我的数据开发工作都是些什么。

因为我们公司都是买的别人的产品和服务,所以很少需要自己开发,一般都是在平台上写写SQL,配配调度,然后有问题了排查优化,除非有一些特殊的需求,或者平台没法完成的功能,才会通过自己写点代码去完成。虽然这些代码最后也是通过shell脚本调用,然后在平台上调度。所以很多数据开发工程师一般都会自嘲 SQL BOY

上面那些其实主要是和开发搭上边的,还有其他工作。比如对于一些新需求,需要去评估一下是否需要接入新的表,如果现有数仓有的那还好说,如果没有的,还需要和数仓负责人沟通,看是否需要接入表。如果需要,那还需要看一下具体的数据情况,比如数据量啊,字段情况呀,是否会造成数据重复之类的问题;然后还得分析一下是要全量入库还是增量入库,表名要怎么规范之类的,确定好这些后才能接着做。这些其实和数据治理有关。

可能有些人有疑问,数据开发工程师要学的东西那么多,就干这些事?
实际上现在很多有点规模的公司都有自己的一套数据平台,因为集成了很多功能,而且还做了很多规范,可以减少重复工作,提高效率,基本上都是直接在上面开发。所以,如果你是刚入职的,发现自己在干这类活,别怀疑和迷茫,其他公司的数据开发工程可能也干着和你一样的事。
图片说明

#职场打工人实录#
大数据从入门到放弃 文章被收录于专栏

写点大数据相关的内容,一起交流进步

全部评论
楼主在什么公司
点赞 回复 分享
发布于 2022-08-05 15:04
数开还招人吗
点赞 回复 分享
发布于 2022-07-24 18:11
真实
点赞 回复 分享
发布于 2023-08-04 15:59 北京

相关推荐

太难了,双9bg也被刷
投递韶音科技等公司10个岗位
点赞 评论 收藏
分享
点赞 评论 收藏
分享
06-07 19:59
门头沟学院 C++
补药卡我啊😭:都快15年前的了还在11新特性
你的简历改到第几版了
点赞 评论 收藏
分享
07-24 12:30
湘潭大学 营销
点赞 评论 收藏
分享
评论
9
6
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务