大数据工程师(J17498)

薪资面议
重庆市
2025-03-02










岗位职责
1.根据实际业务场景以及产品经理/分析师发起的需求开发相应底表,建设与完善数据仓库各层,从贴源层直至集市、应用层;
2.负责大数据平台的企业数据仓库,根据领域、主题、指标需求进行相应数据集成和前端报表开发等;
3.建立离/在线、机器学习等大数据处理流程,会使用不同算法模型,对关键业务场景数据进行预测、调试及性能优化;
4.参与主数据、数据治理架构、企业级大数据仓库建设,负责数据标准化,及数仓标准化落地;
5.负责数据仓库相关文档整理、case追查,确保数据完整性与一致性。
2.负责大数据平台的企业数据仓库,根据领域、主题、指标需求进行相应数据集成和前端报表开发等;
3.建立离/在线、机器学习等大数据处理流程,会使用不同算法模型,对关键业务场景数据进行预测、调试及性能优化;
4.参与主数据、数据治理架构、企业级大数据仓库建设,负责数据标准化,及数仓标准化落地;
5.负责数据仓库相关文档整理、case追查,确保数据完整性与一致性。
岗位要求
1.全日制本科及以上学历,计算机科学与技术、软件工程等相关专业;
2.熟悉多种数据分析方法,根据业务特点选择最合适的数据算法,进行数据分析和挖掘等工作;
3.熟悉Hadoop、Hive、SparkSQL、HBase、Impala、Kudu、flink、Dataworks、Doris、MaxCompute、Hologres原理,熟悉维度建模理论;
4.熟悉SQL/HQL,有较好的SQL性能调优经验,熟练使用sql各种函数的使用方式;
5.熟悉Java、shell、python、R其中至少两种开发语言,能使用python进行开发者优先;
6.了解azkaban/kettle/Seatunnel至少一种任务调度框架,
7.了解阿里DataWorks和帆软报表工具;
8.良好的逻辑思维能力,对数据敏感,能够发现关键数据、抓住核心问题;
9.较强的沟通能力和逻辑表达能力,具备良好的团队合作精神和主动沟通意识;
10.具备强烈的工作责任感,喜欢钻研,态度乐观。
2.熟悉多种数据分析方法,根据业务特点选择最合适的数据算法,进行数据分析和挖掘等工作;
3.熟悉Hadoop、Hive、SparkSQL、HBase、Impala、Kudu、flink、Dataworks、Doris、MaxCompute、Hologres原理,熟悉维度建模理论;
4.熟悉SQL/HQL,有较好的SQL性能调优经验,熟练使用sql各种函数的使用方式;
5.熟悉Java、shell、python、R其中至少两种开发语言,能使用python进行开发者优先;
6.了解azkaban/kettle/Seatunnel至少一种任务调度框架,
7.了解阿里DataWorks和帆软报表工具;
8.良好的逻辑思维能力,对数据敏感,能够发现关键数据、抓住核心问题;
9.较强的沟通能力和逻辑表达能力,具备良好的团队合作精神和主动沟通意识;
10.具备强烈的工作责任感,喜欢钻研,态度乐观。