经纬恒润 数据开发

1.有没有遇到业务需求不合理的地方，你怎么办？2.你的上下游怎么合作的？3.怎么通过spark ui判断是什么问题？4.具体的case5.开发项目的整个流程6.你的任务基线9点产出，下游有表依赖你的表，但他需要5.30产出，通知到你，你怎么办？7.你怎么评判你这个项目的好坏？8.你觉得实习给你最大的感悟？9.你觉得dataworks底层更像mapreduce还是spark？10.你觉得dataworks这种封装之后的产品，和原本的spark有什么区别？11.反问面试官挺和蔼，发牛客攒人品9.18 已挂

1.对称二叉树2.写一个排序算法3.项目拷打4.kafka和rabbitmq区别，为什么大家都使用kafka5.解释什么是kafka6.他的优势是什么？7.sql优化8.hdfs和Hive的区别9.spark和hive的区别10.hive中存储格式11.Application、job、stage、task区别12.宽依赖窄依赖13.scala里object和class方法的区别14.dateframe和dataset的区别15.TCPIp16.OSI七层17.java垃圾回收机制

公司不大不小给我来说足够了，可惜好像很难转正。说是数据开发实际上是数据采集，能感觉到面试官对数据采集也不是很熟悉问的问题更倾向项目内容，名创优品的爬虫面试就是纯拷打了从基础到深入的技术问题。第一个：playwright跟selenium的区别，因为从一开始就用playwright我只知道一个异步，也回答了因为从一开始就使用了playwright框架所以对selenium也不太了解。第二个：谈谈反爬经历，我主要讲了youtube逆向以及cloudflare的绕过第三个：出现爬不到内容该如何排查，网页结构，ip池，cookies池，u-a头第四个：最难的项目，上份实习的监控系统youtube逆向以及cloudflare的绕过还有一个网页的逆向，最后是crawlab爬虫管理技术第五个：验证码，我实话实说没有接触验证码，因为通常拿playwright指纹绕过会更简单快捷，所以基本没有接触过验证码的绕过。第六个：大规模数据的保存，先用redis保存到一千到五千时再统一存入mysql第七个：mysql的运用，当时说了一个系统的mysql使用逻辑第八个：问我上份实习部署工作是是否为我做的，我说了是自己使用docker部署到服务器的第九个：ai技术如何运用到爬取，我说了使用openai可以很有效的解决爬虫对于数据模糊爬取难的情况，以及crawl4ai的工作原理第十个：爬虫的开发流程，我说主要是根据时间以及爬取的量，短时间可以用自动化工具，如果量大而且有时间则是用逆向加scrapy的协议爬虫，他说我太笼统了，于是我追加了crawlab的爬虫监控技术还有docker的多容器通信这些。后面就没了，面试官也介绍了一下他的团队，3点半左右线上面试结束，4点左右hr就在boss问我一会是否有时间电话沟通确认到岗时间还有薪资情况，说第二天就发offer了

1、介绍自己技术的学习情况，项目的情况2、多线程并发修改全局变量会有什么问题，如何解决(追问:除了加锁还有什么方法)3、tcp三次握手的过程，为什么需要三次4、tcp传输粘包和拆包5、http是长连接还是短连接6、MySQL索引为什么可以加快查询7、b树和b+树的区别8、为什么b+树不在非叶子节点存储数据会比b树好呢9、MySQL的默认隔离级别，该级别下可能存在的问题，如何解决10、redis如果遇到内存快满了，如何处理11、有一个联合索引，分析四个sql语句，是否可以用索引，如何用(联合索引是(a，b)，选项中有:1)a=0and b=0;2)a>0 and b=0;3)a=0or b...