高级数据开发大数据开发工程师

1.负责离线数据仓库的设计、构建和优化，确保数据质量和性能 2.开发和维护用户画像系统，生产高质量的用户特征 3.使用 Hive、Spark SQL、Iceberg 等技术进行大规模数据处理和分析。 4.设计和实现基于 Flink 和 Flink SQL 的实时数据处理流程。 5.参与数据模型的设计和优化,参与数据治理,提高数据质量。 6.与业务团队紧密合作，理解业务需求并提供数据支持。 7.持续优化现有的数据处理流程，提高系统的可靠性和可扩展性

1.计算机科学、软件工程或相关专业本科及以上学历 2.3-5年大数据开发经验，熟悉数据仓库的设计和实现,有数据治理经验 3.熟练掌握Java语言，熟练掌握算法数据结构，有golang开发经验优先 4.精通 SQL，熟练使用 Hive 和 Spark SQL 进行数据处理和分析，Iceberg 等数据湖技术使用经验优先 5.熟练掌握 Flink或Spark实时计算引擎，有实时数据处理和任务优化的经验 6.熟练掌握 各种大数据技术组件(hdfs/hbase/kafka等) 7.具有良好的沟通能力和学习能力