大数据开发工程师

岗位职责： 1.搭建存储海量金融数据的分布式数据仓库。 2.搭建公司的大数据平台，包括：调度系统、数据监控、数据处理流程、平台权限管控等，实现高可靠、高效率、高扩展的金融数据处理。 3.开发实时数据处理系统和平台，实现实时数据处理、传输的自动化流程。 4.和其他同事一起设计开发不同业务数据的自动化处理流程。 5.基于大数据平台开发相关衍生数据的计算模块和流程。

职位要求： 1.本科及以上学历，具有计算机、电子、自动化等相关专业背景。 2.对数据仓库体系架构有深刻的理解，能熟练进行数据系统的设计和开发。 3.熟悉大数据处理方法，熟练使用hadoop、hive、hbase、spark、flink等分布式应用工具。 4.有知名互联网公司的大数据平台建设经验和大数据开发经验，能够独立搭建数据仓库和数据平台。 5.有金融领域的大数据平台工作经验，有处理海量金融数据的能力。 6.具有Linux系统环境下的开发经验，具有编写shell脚本的能力，精通Python、R、Scala等开发语言。 7.熟练使用常见的数据库，例如：MySQL、PostgeSQL、MongoDb、Redis等。 8.具有ZeroMQ、RabbitMQ、Kafka等消息中间件的数据开发经验。＜ 9.具有优秀的团队沟通和协作能力、责任心强，善于学习，有较强的自我驱动，具有独立分析并解决问题的能力。经验。