首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
WISING
2017-04-28 10:39
电子科技大学 Java
关注
已关注
取消关注
爬虫老司机看过来,请教个问题
最近在用Java爬知乎,买的阿布云的***。但是爬虫速度大概在一小时一万条左右,几百万的数据得几百小时啊,感觉有点慢。。请问下各位爬虫速度大概在多少?目前开更多线程速度也没提升,是不是我用的***ip池每秒ip数太少呢,目前不知道怎么优化
提示
全部评论
推荐
最新
楼层
向宇同桌
牛客网创始人
我在自己的台式机i5配置上爬过微博,一天差不多是1000w个页面,你这个速度太慢了。是不是爬重复了?多线程我开了20个线程。 主要还是要爬取解析入库等各个步骤异步分开。 建议用框架爬取吧,自己写会比较慢。不过自己写技术会更提高~~
点赞
回复
分享
发布于 2017-04-28 10:47
暂无评论,快来抢首评~
相关推荐
05-04 11:54
中南大学 Java
互联网大厂是不是可以玩献祭流?
听说部分互联网厂的员工在工位上猝死可得5倍年薪赔偿? 我发现互联网还有献祭流这种玩法啊。假如生命只剩5小时,我建议4个小陪伴父母,半小时自己去买点好吃的,剩下半小时直接打开mac开始办公。来吧,互联网职业生涯的最后一舞! 互联网这个版本的强度还是太超标了啊! 至于为什么会猝死你别管。#牛客AI配图神器#
Java抽象小篮子:
你互联网叔叔这版本这么超标,不削能玩?
互联网公司评价
点赞
评论
收藏
分享
05-07 11:21
已编辑
门头沟学院 算法工程师
在携程的一天
早上10点到岗,晚上7点走,中间干了啥?我是旅游BG的大模型算法工程师,今天带你看点不一样的。 10:00|到公司,先看一眼模型跑得怎么样工位上打开电脑,第一件事:登录训练平台,看看昨晚提交的视频生成任务跑完了没。还行,没有爆显存,Loss曲线正常。同事路过:“新模型效果咋样?”——“还在调,中午给你看demo。”10:30|晨会,聊15分钟旅游BU的晨会很快:对齐进度、同步卡点、确认优先级。我上周接了个AIGC视频生成的优化任务,目标是让生成的视频转场更自然、文案更贴合目的地。今天要试一个新开源模型的效果。mentor听完说:“先跑个AB实验,数据说话。” 11:00|写代码+调模型,沉浸式...
携程成长空间 146人发布
点赞
评论
收藏
分享
04-20 22:20
已编辑
门头沟学院 算法工程师
27届导师不放实习,硬刷五段大厂
27届,bg为四非本211硕,如题,导师不放实习,且每周至少一次线下组会(工作日),从研一上开始实习,然后我组在研一下引入了打卡机五段大厂分别是:美团到店、美团服务零售、快手电商、字节TikTok、字节CapCut。目前要结束我的第五段实习了(不会再刷第六段,好好搞学校的事,还有秋招)本来一直告诉自己的是“所有委屈到了终点再说”,过去告诉自己的终点自然还没到,但我觉得自己仿佛已经到了另一个终点,有感而发,写了这篇文章也许你会觉得为啥不尝试问问导师能不能实习,或者用其他让自己舒服的手段,我只能说,这很复杂,有导师的人自然会懂,这种一开始就把“利益冲突”摆明面上的招几乎就是不可能成功———————————————————我到底是怎么实习的?骗hr自己满勤,然后没有捷径,就是每周往返,第一段去的是北京美团,而学校在江苏,因此需要一周一次北京江苏往返,因为实习钱少,所以坐的基本是绿皮,难以入睡,下车后就是长达2小时的地铁去公司,地铁站上靠着人睡觉周末做什么?基本在做导师的科研or横向,学习的话很多时候就是尽力在晚上回到出租屋的时候学,这很难维持,但只能不断push自己如何破解打卡机?直接把打卡机偷了,或者使用指纹膜(当然我很早就做好了无法破解的准备,那就是找个长三角实习,每天早起去打卡完坐高铁去实习,从每周高铁往返变成每天)导师会压力吗?非常压力,实习的时候非常害怕微信弹出他的消息,PTSD了,有时候一周要往返两次学校,每次都跟要死了一样,之前真是情绪崩溃好几次,哈哈哈哈平时往返怎么平衡工作?我本来很晕车,为了不耽误公司和导师的进度,从车上一看电脑就头晕、吐,到后面可以随意在高铁、地铁、出租车上Coding,甚至不会再因为往返感到心累了,哈哈哈哈这一路已经淬炼出比较坚强的内心了,已经数不清多少次坐末班高铁从学校回公司,多少次凌晨6点爬起来赶车过去我会把这些当作是我人生的弯路,但现在,这些已经成为我宝贵的经验了。往后,我想我也能真正允许各种不好的情况出现了,因为我会真正把它当作我要解决的问题,而非抱怨,这又何尝不是终点呢?要照顾好身体,我不管怎么往返,一直非常在乎身体,会让自己睡够8小时,最近几星期培养早睡早起到公司健身后去工作的习惯,我觉得好身体很关键
gtgt..:
很佩服,但是很恐怖,感觉已经从人类异化到高度运转的机器了
美团成长空间 2791人发布
点赞
评论
收藏
分享
04-30 15:12
南京邮电大学 电子工程师
CVTE
何意味
点赞
评论
收藏
分享
05-07 21:42
北京理工大学 Java
美团后端暑期二面
虽然嘴上说着不想再面了,但是今晚身体还是诚实地准时点开了面邀链接。部门是核心本地商业,偏向酒旅下面的景点。本来准备了一个工作流项目和一个优惠券秒杀项目,结果全程都是ai和ai coding相关,完全没问第二个项目,也没有手撕,供大家参考。这两个项目都不是实验室的课题吧?都是你在GitHub或其他平台上自己学习实践的项目,然后做了相应的改造,对吗?看一下你这个工作流编排平台,它产生的背景或要解决的问题是什么?我能不能理解为它类似Coze、Dify这类工作流编排产品?你提到和它们有所区分,具体做了哪些改进或不同之处?你说这是自研层面的东西,整体设计思路是怎样的?其中稳定性能力建设这部分,有没有参考...
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
5
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
27 届前端 er 第一段实习故事
9742
2
...
从阿里被裁到快手升P6,我花了四年
9084
3
...
2026春招到底卷成什么样了?填问卷说出真相,最高领200元现金红包
8563
4
...
春招没进大厂,我的人生会完蛋吗
8043
5
...
30天的回望与总结
7728
6
...
Agent开发实习一面分享-字节
6121
7
...
在携程的一天
5575
8
...
别人:阿里 字节 腾讯
5240
9
...
大三下了 学校不放实习怎么办
5012
10
...
招了一年实习生,撑过三个月的一只手数得清
4535
创作者周榜
更多
正在热议
更多
#
这个offer值得去吗?
#
35426次浏览
238人参与
#
实习生工资多少才算正常?
#
73053次浏览
506人参与
#
在爱玛,骑向未来
#
41896次浏览
429人参与
#
如果春招能重来,我会___
#
31078次浏览
306人参与
#
实习生的蛐蛐区
#
954169次浏览
4808人参与
#
你会因为行情,降低找工作标准吗?
#
47948次浏览
337人参与
#
美团笔试
#
996301次浏览
5853人参与
#
蚂蚁集团笔试
#
31536次浏览
149人参与
#
非技术岗投递进展
#
178739次浏览
1324人参与
#
产品每日一题
#
99937次浏览
720人参与
#
快手工作体验
#
337395次浏览
2962人参与
#
那些我实习了才知道的事
#
294432次浏览
1813人参与
#
牛友的春节生活
#
122880次浏览
833人参与
#
你被哪些公司挂了?
#
196262次浏览
1070人参与
#
公司情报交流地
#
163487次浏览
1351人参与
#
腾讯工作体验
#
635539次浏览
3858人参与
#
记录我的毕业季
#
5588次浏览
130人参与
#
选offer应该考虑哪些因素
#
171711次浏览
1052人参与
#
华为池子有多大
#
178807次浏览
934人参与
#
苦尽甘来时,再讲来时路
#
81202次浏览
980人参与
#
产品实习,你更倾向大公司or小公司
#
227729次浏览
2147人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务