数据开发工程师日常工作是怎样的?

最近有朋友问我,大数据开发平时工作都干些什么?需要写代码吗?

今天,就来给简单说一下,我的数据开发工作都是些什么。

因为我们公司都是买的别人的产品和服务,所以很少需要自己开发,一般都是在平台上写写SQL,配配调度,然后有问题了排查优化,除非有一些特殊的需求,或者平台没法完成的功能,才会通过自己写点代码去完成。虽然这些代码最后也是通过shell脚本调用,然后在平台上调度。所以很多数据开发工程师一般都会自嘲 SQL BOY

上面那些其实主要是和开发搭上边的,还有其他工作。比如对于一些新需求,需要去评估一下是否需要接入新的表,如果现有数仓有的那还好说,如果没有的,还需要和数仓负责人沟通,看是否需要接入表。如果需要,那还需要看一下具体的数据情况,比如数据量啊,字段情况呀,是否会造成数据重复之类的问题;然后还得分析一下是要全量入库还是增量入库,表名要怎么规范之类的,确定好这些后才能接着做。这些其实和数据治理有关。

可能有些人有疑问,数据开发工程师要学的东西那么多,就干这些事?
实际上现在很多有点规模的公司都有自己的一套数据平台,因为集成了很多功能,而且还做了很多规范,可以减少重复工作,提高效率,基本上都是直接在上面开发。所以,如果你是刚入职的,发现自己在干这类活,别怀疑和迷茫,其他公司的数据开发工程可能也干着和你一样的事。
图片说明

#职场打工人实录#
大数据从入门到放弃 文章被收录于专栏

写点大数据相关的内容,一起交流进步

全部评论
楼主在什么公司
点赞 回复 分享
发布于 2022-08-05 15:04
数开还招人吗
点赞 回复 分享
发布于 2022-07-24 18:11
真实
点赞 回复 分享
发布于 2023-08-04 15:59 北京

相关推荐

Java大菜狗:纯纯招黑奴,一天还不到两百那么多要求,还不迟到早退,以为啥啊,给一点工资做一堆活,还以不拖欠员工工资为荣,这是什么值得骄傲的事情吗,纯纯***公司
点赞 评论 收藏
分享
07-11 22:27
中南大学 Java
程序员牛肉:学历的话没问题。但是没问题的也就只有学历了。 其实你的整体架构是正确的,博客接着干。但是项目有点过于简单了。从后端的角度上讲,你这也就是刚入门的水平,所以肯定约面试够呛。 如果你要应聘后端岗位,那你第一个项目竟然是仿写操作系统。这个你要面试官咋问你。你一定要记住一点,你简历上写的所有的东西,都是为了证明你有能力胜任当前的岗位,而不是为了证明你自己会什么。 如果你只是浅浅的做几个项目,描述也都是烂大街。技术点也都是各种混水类的配置类需求,那你就不要幻想自己能走多远。一定要保持思考,保持学习。
点赞 评论 收藏
分享
点赞 评论 收藏
分享
评论
9
6
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务