- 岗位职责
岗位职责1.小米日志数据模型与架构设计,离线数仓和实时数据体系的建设和不断迭代;
2.数据体系化建设与管理相关的系统研发(元数据管理、模型管理、配置化工具、数据治理等相关模块的研发);
3.根据业务需求完成大数据分析,使用spark、hive、mapReduce等进行开发;
4.数据产品需求的研发、项目管理、代码review及相关团队规范的制定与优化;
5.根据业务需求参与产品设计及撰写技术文档
- 岗位要求
岗位要求1.国家统招本科以上学历,计算机、软件工程、数学相关专业;
2.掌握数据结构与算法,有java或scala研发经验;理解基本的设计模式,能将业务需求快速理解成技术需求;
3.熟练使用至少一种RDBMS,并熟悉其原理;至少熟悉使用一种脚本语言shell或python;
4.熟悉Hadoop架构和工作原理,MapReduce编程;熟悉Hive,有HQL优化经验;熟悉ETL研发;
5.熟练掌握spark及spark streaming开发,有实际项目研发经验更佳;
6.有Java Web项目开发经验,具备独立完成模块开发能力,熟悉基于J2EE的相关开源技术以及框架(Spring、SpringMVC, ibatis)和实现原理;
7.有其他数据研发相关工具经验优先,例如HBase、Kylin、ES、Redis、flume。