- 岗位职责
1. 改进垂直搜索速度,学习与改进搜索效果;
2. 维护爬虫代码,负责部分模块的优化与改进;
3. 负责各类垂直网站的抓取与解析。
- 岗位要求
基本条件:
1. 对搜索技术、爬虫有较大兴趣;
2. 熟悉C/C++或Java语言编程,了解python、shell;
3. 熟悉http协议,擅长通过分析,找到抓取目标网站的最佳方案。
加分项:
1. 熟悉网络编程、RPC等优先;
2. 熟悉开源爬虫或解析框架优先,比如larbin、nutch、 scrapy等;
3. 熟悉搜索索引、检索等模块或开源项目优先。