加入我们

数据分析与决策支持服务机构

爬虫开发工程师

职位描述

岗位职责

1、负责多平台信息爬取和页面内容的提取分析;

2、参与爬虫系统的架构设计和研发,独立进行抓取工作;

3、负责技术难点的攻克;

4、负责大规模数据爬虫的性能优化工作;

5、负责分布式爬虫平台构建。

任职资格

1、计算机相关专业,本科及以上学历;2年以上实际爬虫开发、内容提取工作经验;

2、熟悉Python/Java等语言的开发,熟悉Linux及其脚本相关技术;

3、深入了解Http协议,熟悉web项目原理;

4、了解多线程、多进程、网络通信编程相关知识,有过海量数据抓取及分布式存储经验;

5、掌握网页抓取原理及技术,熟悉基于正则表达式、XPath、CSS、pyquery等网页信息抽取技术;

6、掌握selenium、chorme等模拟浏览器行为技术;

7、有移动端爬取经验,了解APP模拟及接口签名破解技术,了解APP用户授权访问机制, 了解APP反编译技术;

8、有电商,旅游,新闻等热门网站数据抓取经验;

9、工作认真细致踏实,优秀的学习能力与抗压能力;

10、掌握机器学习、验证码识别技术、爬虫高并发技术,有web开发经验优先。

友情链接

010-53896000
010-53896000
关闭

请您填写报名与合作信息