双胞胎集团

公司不大不小给我来说足够了，可惜好像很难转正。说是数据开发实际上是数据采集，能感觉到面试官对数据采集也不是很熟悉问的问题更倾向项目内容，名创优品的爬虫面试就是纯拷打了从基础到深入的技术问题。第一个：playwright跟selenium的区别，因为从一开始就用playwright我只知道一个异步，也回答了因为从一开始就使用了playwright框架所以对selenium也不太了解。第二个：谈谈反爬经历，我主要讲了youtube逆向以及cloudflare的绕过第三个：出现爬不到内容该如何排查，网页结构，ip池，cookies池，u-a头第四个：最难的项目，上份实习的监控系统youtube逆向以及cloudflare的绕过还有一个网页的逆向，最后是crawlab爬虫管理技术第五个：验证码，我实话实说没有接触验证码，因为通常拿playwright指纹绕过会更简单快捷，所以基本没有接触过验证码的绕过。第六个：大规模数据的保存，先用redis保存到一千到五千时再统一存入mysql第七个：mysql的运用，当时说了一个系统的mysql使用逻辑第八个：问我上份实习部署工作是是否为我做的，我说了是自己使用docker部署到服务器的第九个：ai技术如何运用到爬取，我说了使用openai可以很有效的解决爬虫对于数据模糊爬取难的情况，以及crawl4ai的工作原理第十个：爬虫的开发流程，我说主要是根据时间以及爬取的量，短时间可以用自动化工具，如果量大而且有时间则是用逆向加scrapy的协议爬虫，他说我太笼统了，于是我追加了crawlab的爬虫监控技术还有docker的多容器通信这些。后面就没了，面试官也介绍了一下他的团队，3点半左右线上面试结束，4点左右hr就在boss问我一会是否有时间电话沟通确认到岗时间还有薪资情况，说第二天就发offer了

大数据开发（研发）岗（面试官很好是我太菜）1.问实习（学到了什么之类的）2.介绍项目3.项目中用的Hive，问我用的外部表还是内部（包是外部的，问就是外部安全）4.最熟悉哪个java集合（HashMap）（这个问题别人的面经也有准备准备吧我看了但是没记住）5.应用场景是啥6.它线程安全不7.String name="xxx"创建了几个对象存储在哪8.mysql主键和唯一索引有啥区别9.内连接是干啥的（交集）10.集群是自己搭建的不(包的老弟包的)11.hive的元数据搁哪放（metastore）12.Hadoop用的哪个版本啊（我说的是3x）13.问我HDFS，介绍一下我说...

经典乱回复，只要一问，能不能到，就是全国可飞，可实习六个月以上，一周之内就能到岗。AAAA牛牛全国可飞（六个月可实习版）

自我介绍 5 min项目+java 20min1.项目里面遇到的困难有什么，怎么解决的2.jwt令牌用来干什么3.threadlocal了解吗，干什么的，是怎么实现的4.nginx是自己部署的吗？说一下nginx5.项目中涉及一个tcp上应用层设计的问题6.java多线程安全性，类中静态变量，类的成员变量，方法中的局部变量是否线程安全7.一个final成员变量是一个类，类里面的变量是否线程安全8.假设我有一个父线程，父线程中new子线程，把父线程的局部变量传入子线程，是否会有线程安全问题手撕：一个二叉树的平均高度（dfs） 10min手撕：一个升序数组不重复，经过了循环左移k次。给你左移后的数...