高级爬虫工程师

高级爬虫工程师
岗位职责:
1. 遵循robots 协议，对互联网公开信息进行采集；
2. 负责网页信息抽取技术算法的研究和开发，提升数据抓取的效率和质量；
3. 负责设计和开发分布式的网络爬虫，能独立解决实际开发过程碰到的各类问题(优化调度、并发、覆盖率等) ，提升数据抓取的效果与性能;
4.负责爬虫数据解析入库、系统异常监控与警报等。

任职要求:
1. 本科C9及以上学历，两年及以上爬虫抓取采集相关工作经验，至少一年海量数据爬存经验；
2. 熟练掌握HTML、JavaScript、Python、Scrapy等，能快速完成采集脚本的编写;
3. 熟悉主流爬取技术及爬虫框架工具，如Selenium/Puppeteer/PhantomJS/Scarapy等;
4. 掌握分布式系统使用方式，如Ray、Spark、Hadoop等;
5. 了解NLP基本技术，实际使用过如 Fasttext、N-gram、Bert、GPT 等算法和模型者优先；
6. 熟悉常见反爬封禁策略，具备相关的实战经验。
引流
进化论
凯纳
伯兄
幂达
盛泉恒元
博煊
启林
奥奇.齐夫
中信期货
龙鳞
幻方
凯丰
燧石投资
小惠
鲁民投
火币
知至恒
白鹭
佳期
盛冠达
会世
同花顺
玄元
念空
或然投资
元胜投资
博益安盈
英仕曼
衍舟
灵均
灏象
千惠
君拙
纽达
博普
聚宽
量道
盈赢
孝庸
量盈
桥水
凯读
世纪前沿
源晖
貔坤
高塔
靖奇
卡方
雷根
通怡
九坤
量游
虑得
鸣熙
金戈量锐
臻财
城堡投资
德劭
千禧
二西格玛
蒙玺
鸣石
微观博易
无涯
天演
赫富
茂源
祥寓
玉数投资
芷瀚
安贤
磐通
海悦
仲阳天王星
星阔
金湖无量
稳博
量派
思勰
双隆
诚奇
涵德
正定
明汯
罡兴
成均
金鍀
香农
希格斯
敦和
洛书
明崚
细水投资
华钧广汇
玄信
衍盛
千象
神策
致诚卓远
中量投
思晔
珏朔
艾略特
高盈国际
上国象
问月
天算量化
因诺
坤望
集微
上善御富
秃鹫基金
非凸
卓识
黑翼
锐天
乾象
概率
悬铃
偲科聆
顽岩
元盛资本
衍复
泛态
平方和
高维
文艺复兴
宽德
大道
龙旗
艾方
量桥