8.3 快手-数据采集-一面凉经

面试时间：60min

我的方向是数据开发，但感觉数开岗位比较卷，加上之前也有一段网络爬虫的实习经历，投了快手的数据采集岗。面试官人还不错，主要问了爬虫项目和我简历上一些大数据的技能，但好像还是方向不太符合，他们更想要会Java开发、app逆向的，最后还一直安慰我。

面试官介绍部门业务和流程

现在还在实习吗？有其他公司在流程吗？

自我介绍

实习介绍？（公司，部门，项目）

开发的Xpath工具介绍？

分布式爬虫介绍一下？

项目中遇到的最困难问题？

常见的反爬封禁策略？

验证码登录这么解决的？除了使用第三方库有试着用机器学习解决吗？

APP数据采集是这么做的？抓包吗？做过逆向吗？

为什么使用MongoDB存储？和MySQL有什么区别？

Http状态码？

TCP和UDP区别？

post和get区别？

HBase读流程和写流程？有什么差异？那个效率更高？

Kafka的消息投递保证机制？

Java线程池相关？

Hive分区怎么存储？

将Json字段转成一行行数据，Hive怎么实现？（get_json_object+行转列？？）

介绍几个Linux命令？

显示进程用那个？

top命令是做什么的？

修改一个文件每行第一个字符，该用什么命令，怎么设计？

MySQL中索引会失效的场景？

有优化过慢查询SQL吗，该这么做？

#快手信息集散地#  #数据人的面试交流地#