字节数据开发二面

4.27中午突然被捞，临时准备面试，临时抱佛脚一晚上😂1. 自我介绍2. 项目（20min 了解大模型吗 你有什么看法）3. 了解mapreduce吗4. 了解spark吗5. 数仓分层 数据倾斜（一点也不会6. 手撕sql , 相互关注的用户信息只保存一条7. 反问

整体面了50min，面试官很温柔可惜我太菜了，昨天下午面，今天早上秒挂感觉莉莉丝这个岗偏数仓底层的一些数据开发，或者说是数据模型的设计自我介绍拷打项目（摆了一段时间突然收到面试，没怎么准备被狠狠拷打了）讲一讲维度建模整体过程，如何设计（我答了个数仓分层，被蠢哭了，后面被提醒说了说星型模型）维度建模理论这里的冗余是指什么，如果维度变了怎么办（缓慢变化维）说说做了哪些指标，做了哪些标签DQC里面具体校验了什么东西如何保证数据质量的规范30min之后说来做两道sql吧（口述完第一道，做完就没时间了，场景很有意思不愧为游戏公司）sql题：现在有一辆小车在二维平面上，然后每一秒上报一次它的坐标（...

状态最差一次面试，整个人在漫长春招一个多月后开始说话语无伦次+脑袋不转。0. 面试官自我介绍，问实习时间1. 自我介绍，简单讲项目2. neo4j底层怎么存储：基于磁盘的二进制文件存储3. 故障怎么办：故障检测、宕机恢复4. 访问量增加怎么办：水平扩展、读写分离、索引缓存（redis5. redis怎么数据一致性：单线程保证了、主从同步、持久化机制6. py的dict怎么安全多线程？加锁7. py线程池 threadlocal：忘了8. 分布式负载均衡的算法：rr、wrr、随机、加权随机、最少连接9. CAP：一致性可用性和分区容忍不可兼得，一般舍弃C或者A10. 项目和hdfs的区别：算法上，结构微调11. 知道其他大数据组件吗：没咋看12. 分布式系统总结 共通的特点解决问题和架构：解决一致性可用性分区容忍、负载均衡容错。。架构是分namenode和后面存储node13. 解决数据一致性的方法：2PC预提交 + 正式提交、投票、最终一致性14. 场景：py 生产者消费者 时间戳数据 怎么实现15. Queue有界的话怎么办？丢异常16. 报错怎么解决：重传、调速度17. queue锁怎么设计：互斥锁、又说了乐观锁桶锁好像跑题了。。应该有条件变量？18. 加整个queue还是怎么加？生产者生产的时候消费者没办法消费：只锁关键小段代码19. 假设分布式系统十亿数据挑选最大top10：每个服务器选top10然后归并。选的算法可以hashset、可以bitmap、可以堆排，考虑到内存。20. spark用py写的？对。。21. 卡夫卡用过：恩22. 反问感觉又要凉了，自己面的方向太多做的东西又杂.. 路漫漫其修远兮😌

MapReduce的Shuffle过程是怎样的？为什么Shuffle可能会成为MR任务的性能瓶颈？如何优化？MySQL的联合查询（JOIN）有哪几种类型，它们之间有什么区别？MySQL中的GROUP BY和ORDER BY有什么区别？什么是ETL过程？在数据仓库建设中，ETL的角色和重要性是什么？每日五问总览MapReduce的Shuffle过程是怎样的？在 MapReduce 中，Shuffle 是连接 Map 阶段和 Reduce 阶段的核心过程，主要包括数据的输出、传输与排序。具体来说，当 Map Task 处理完数据后，会将输出结果按照 key 进行分区（Partition），写入本地...