爬虫工程师 - 运营中心

职位类别 最低学历 工作年限 工作地点 招聘人数 工作类型
技术>数据挖掘类 不限 不限 广州市 1人 全职

岗位描述

1、负责设计和开发通用爬虫系统,提取分析各种千形万态的平台页面内容;
2、研究各种网站、链接的形态,发现它们的特点和规律;  
3、解决技术疑难问题,包括反反爬、压力控制等,提升网页抓取的效率和质量;
"  

岗位要求

1、计算机及相关专业,本科以上学历,1年以上爬虫开发经验; 
2、精通python、计算机网络,熟练使用多线程,熟悉Scrapy等常用爬虫框架;
3、熟悉Linux操作、正则表达式,MySQL、MongoDB等常用数据库,了解各种Web前端技术;
4、能够解决封账号、封IP、验证码识别、图像识别等问题;
5、具有良好的沟通能力和团队合作意识,有数据分析、文本分析背景者优先;
 
"
投递简历

扫一扫分享该职位

分享到: