快手数据研发实习生（国际化）面经（已offer）

1.自我介绍2.对公司有没有了解3.inner join的底层实现，有哪些算法4.两个数组，数组的大小都在数千万级以上，但是值域是在一千万以内，找到两个数组相同的元素（说了bitmap）换了部门负责人来面试5.有了解过数仓整体的架构吗（面试官说现在是存算分离，实时和离线一体）6.有写过UDF吗，当时的场景是什么样的7.假设现在用的是yarn，pyspark从提交文件到让代码分布到各个节点上的过程（面试官说主要关注driver中的代码和数据怎么和java线程交互）8.为什么从大厂离职当场通过已OC

时间线：3月17日机考 - 3月18日综测 - 3月18日通过部门筛选，填写材料 - 3月19 日HR资格面 - 3月25日上午技术面1 – 3月25日下午技术面2 – 3月27日主管面 – 3月28日offer call。进度还是蛮快的。机试：三道题，一共400分。有些是核心代码模式（LeetCode模式），有些是ACM模式（需要自己写输入输出，推荐去牛客练习）。考前专心刷了一段时间算法，主要是做力扣的Hot100，然后在某C站找一些机试的例题练习。现在题库有很多的题，想着把所有题刷一遍是不现实的，主要是通过真题感受一下机试的真实难度。大概刷了几十道机试题，大部分不难，但少部分，比如图论的最...

项目为sgg经典离线数仓1. 自我介绍2. 项目介绍（难点、亮点）3. 根据难点亮点提问4. 数据域是什么，如何划分数据域，为什么这样划分数据域5. DIM层维度表的设计原则6. DWD层事实表设计要点7. mapreduce shuffle流程8. maptask和reduce task 与哪些因素有关9. 数据热点（数据倾斜）在哪些场景下出现，如何解决10. spark是为了解决mapreduce什么问题设计的11. 手撕sql ，用户关注表有user_id、user_follower_id，求相互关注的用户对(这里想考察的应该是当数据量大的时候，如何不使用join来求相互关注，因为当时场景给定的id是字符abcd，可以考虑使用concat)12. 谓词下推是什么13. 连接条件写在on里和where里有什么区别14. count(1)和 count(*)的区别15. count(1)如果其中有Null值，和count(*)一样吗，为什么16. mapreduce和spark处理distinct去重操作的执行计划以及原理（下去搜了下，面试官想听的应该是mr在执行distinct时会只用到一个reduce造成大量shuffle这个点）17. sparksql调优的方法依赖日志诊断，具体不同情况如何根据日志去调优18. 反问5.10 更新  流程已结束 双非属鼠又一次倒下了

字节数开面试官问：    你在团队里是啥角色呀？有什么团队？工作上下游怎么样子的？回答：    我之前主要担任数据开发角色，负责数据领域的大大小小的事、公司数据资产建设、保障数据质量、数据治理、降本提效（被刺同事），也会做一些建设指标体系，找到业务异常波动原因并进行归因挖掘，接触一点数据产品，对业务用数难的痛点提供数据服务。#春招##社招##大数据##字节跳动#