大数据开发工程师

职位描述

岗位职责

1、负责数据仓库和大数据处理模块的架构设计和开发;

2、负责基于Spark技术的海量数据的处理、分析、统计、挖掘工作;

3、基于Spark框架的数据仓库的设计,开发,维护;

4、根据需求使用Spark SQL进行数据处理、查询、统计等工作;

5、负责大数据集群的维护以及数据可视化工具的设计开发。

任职资格

1、 熟悉hadoop/Spark,hive等相关技术,2年以上Spark开发经验;

2、熟悉java/Scala语言,熟悉python优先;

3、精通mysql sql语句,精通Spark SQL,熟悉Spark Streaming,Spark Mllib优先;

4、熟悉机器学习常见分类,聚类算法优先;

5、 有过海量数据系统开发经验者优先。

报名方式:仔细阅读上面信息之后可以发送您的简历到北京邮箱: hr-bj@idataway.com,上海邮箱: shhr@idataway.com ,广州邮箱: gzhr@idataway.com 。人力资源部会根据简历情况安排相关面试。