数据平台开发工程师

1、负责数据平台离线/实时计算框架/调度平台的演进与维护; 参与设计下一代架构提升数据平台的稳定性与性能； 2、负责计量数仓，质量数仓相关的数据开发工作； 3、负责部分大数据组件的管理和维护, 持续设计更优的方案提升稳定性与性能。

1、本科及以上学历，计算机/数学/统计学相关专业背景优先； 2、熟悉大数据生态, 对 spark/flink/airflow中至少一种有源码级别的了解，可以进行扩展/改造者优先； 3、有扎实的数据结构，算法基础; 对分布式系统设计有一定的了解; 对大数据相关存储组件(如 hdfs, hbase, elasticsearch, kafka) 有一定的了解； 4、擅长以下技能的两种或以上者优先： · 看过Spark源码(有社区pr更好)，知道SparkSQL的实现细节(join, groupby等算子是怎么实现的)，有Spark任务调优经验； · 有编译修改Flink源码经验，了解FlinkSql常用算子使用场景，有Runtime性能调优经验优先； · 有 Kafka / Elasticsearch / Hbase 任意一种的使用经历, 对其机制，使用的最佳实践等有原理上的了解； · 熟悉 Linux下的日常运维工作, 熟悉 docker / k8s 的基本原理, 掌握 Dockerfile / docker-compose 的开发； · 熟练掌握 Grafana 和 Prometheus, 能够完成监控告警的开发； · 熟悉常用调度框架: Apache Airflow / Apache DolphinScheduler / XXL-Job 等的任意一种。