数据研发类-大数据开发工程师

职位描述

岗位职责

1、负责数据仓库和大数据处理模块的架构设计和开发;

2、负责基于Spark技术的海量数据的处理、分析、统计、挖掘工作;

3、基于Spark框架的数据仓库的设计,开发,维护;

4、根据需求使用Spark SQL进行数据处理、查询、统计等工作;

5、负责大数据集群的维护以及数据可视化工具的设计开发;

任职资格

1、熟悉hadoop/Spark,hive等相关技术,2年以上Spark开发经验;

2、熟悉java/Scala语言,熟悉python优先;

3、精通mysql sql语句,精通Spark SQL,熟悉Spark Streaming,Spark Mllib优先;

4、熟悉机器学习常见分类,聚类算法优先;

5、有过海量数据系统开发经验者优先;

仔细阅读上面信息之后可以发送您的简历到以下邮箱,人力资源部会根据简历情况安排相关面试。 北京、成都、郑州 邮箱: hr-bj@idataway.com, 上海、武汉 邮箱: shhr@idataway.com , 广州、昆明、长沙 邮箱: gzhr@idataway.com 。