[美团厦门] 招聘Java后台开发工程师(爬虫方向)

工作地点:
厦门 
简历请发送到: liujunbin02@meituan.com
岗位职责:
1.分布式爬虫系统和数据采集的设计、开发。
2.爬虫策略和防屏蔽规则,提升网页抓取的效率和质量。
3.各类互联网数据的采集抓取。
4.理解系统数据处理流程以及业务功能需求。
5.负责核心算法的设计与开发

岗位要求:
1.1年+以上实际的Java后端开发经验;
2.熟悉java,熟悉常用爬虫框架中的一种或多种,如Scrapy框架或其他的Web scraping framework;
3.熟悉HTML/JavaScript/CSS/xpath/url/Ajax/xml等web技知识,熟悉HttpClient、jsoup、WebDriver、phantomjs等工具;
4.熟悉linux系统,熟悉mysql、redis等,熟悉Internet基本协议(如TCP/IP. HTTP等)
5.能够解决封账号、封IP采集等问题,解决网页抓取、信息抽取等问题,构建完善的网络信息收集平台;
6.负责网络爬虫采集规则的编写;
7.有分布式爬虫架构经验者优先;
8.有数据分析、数据挖掘相关经验者优先。
#美团#
全部评论

相关推荐

点赞 收藏 评论
分享
牛客网
牛客企业服务