高级爬虫工程师

岗位职责:
1. 遵循robots 协议，对互联网公开信息进行采集；
2. 负责网页信息抽取技术算法的研究和开发，提升数据抓取的效率和质量；
3. 负责设计和开发分布式的网络爬虫，能独立解决实际开发过程碰到的各类问题(优化调度、并发、覆盖率等) ，提升数据抓取的效果与性能;
4.负责爬虫数据解析入库、系统异常监控与警报等。

任职要求:
1. 本科及以上学历，两年及以上爬虫抓取采集相关工作经验，至少一年海量数据爬存经验；
2. 熟练掌握HTML、JavaScript、Python、Scrapy等，能快速完成采集脚本的编写;
3. 熟悉主流爬取技术及爬虫框架工具，如Selenium/Puppeteer/PhantomJS/Scarapy等;
4. 掌握分布式系统使用方式，如Ray、Spark、Hadoop等;
5. 了解NLP基本技术，实际使用过如 Fasttext、N-gram、Bert、GPT 等算法和模型者优先；
6. 熟悉常见反爬封禁策略，具备相关的实战经验。
引流
蒙玺
小惠
悬铃
伯兄
卓识
玉数投资
鸣熙
靖奇
念空
稳博
世纪前沿
细水投资
凯丰
量道
罡兴
聚宽
纽达
衍盛
衍舟
金戈量锐
同花顺
通怡
上善御富
坤望
鸣石
明汯
天演
成均
艾略特
艾方
诚奇
雷根
进化论
思勰
玄信
元盛资本
佳期
九坤
凯读
量游
香农
希格斯
千禧
千惠
盛泉恒元
会世
盈赢
非凸
元胜投资
博益安盈
貔坤
磐通
天算量化
秃鹫基金
孝庸
洛书
鲁民投
君拙
或然投资
大道
知至恒
奥奇.齐夫
集微
幂达
祥寓
赫富
灵均
因诺
源晖
量桥
芷瀚
概率
衍复
问月
卡方
金鍀
桥水
启林
高盈国际
华钧广汇
神策
白鹭
量派
二西格玛
臻财
博普
珏朔
平方和
偲科聆
金湖无量
玄元
涵德
高维
龙鳞
德劭
英仕曼
海悦
盛冠达
千象
凯纳
敦和
顽岩
上国象
中量投
思晔
双隆
幻方
黑翼
乾象
宽德
仲阳天王星
燧石投资
虑得
高塔
安贤
泛态
博煊
城堡投资
无涯
致诚卓远
茂源
正定
锐天
星阔
中信期货
文艺复兴
量盈
灏象
微观博易
龙旗
火币
明崚