抖音数据分析面经

●携程机票BU的收入主要来自哪里？○佣金○保险（延误险等等）○值机选座等等副营项目●指标异动：如果收入下降了5%怎么分析●AB实验：如果发现是研发上线了新的算法，导致页面加载时长变化。AB实验流程？○问实验不显著的时候，如何减少方差。CUPED●用户客服进线率：用户为什么进线？○退改机票○不了解转机行李该不该取出来，如何选座等等●我们希望给用户推送售后相关信息减少进线率，怎么用模型来预测谁会进线？用什么模型？怎么做特征工程？

1.WordCount 具体是怎么跑的?比如怎么分片、map 阶段做了啥、shuffle 是咋回事、reduce 最后怎么汇总的2.MapReduce和Spark 到底差在哪儿?适用场景这些都得对比着说3.Spark 提交任务时，Client模式和集群模式有啥不一样?比如 Driver 在哪跑、日志在陖瞎圈看、适合啥场景4.同一条 SQL，为啥 SparkSQL 跑起来比HiveSQL 快?得从执行引擎、优化器这些底层说说原因5.自定义 UDF 怎么实现?比如在 Hive 或Spark 里，具体步骤是啥，有没有踩过坑6.设计 HBase 表得注意啥?rowkey 怎么设计才合理、列族要不要分、版本数怎么设，这些睪腘狐旨を曽斷纰可能问到7.HBase 里的 HLog 是干嘛的?跟数据持久化、故障恢复有关系吗8.都是存在 HDFS 上的数据，为啥 HBase 能支持在线实时查询，Hive 就不行?底层存储结构不一样在哪9.用 SparkSQL 操作 Hive 数据时，有没有縈区堠浓ゴ壮攥到过兼容性问题?比如某些函数不支持、数据格式读不对之类的，怎么解决的10.Spark Streaming、Storm、Flink 这几个流处理框架，区别在哪?各自的优缺点和适用场景得搞明白场景题:11.数据量特别大，要用三个 Map 和一个Reduce 来做 Top10，哪种方法效率最高?得考虑怎么减少数据传输、避免倾斜

1. 详细介绍部门背景2. 自我介绍3. 长期规划打算4. 游戏选取分析，不同游戏技术如何研究5. 如何自学6. 展示AIGC demo，如何实现，如何使用7. 如何调用不同ai模型的api，如何进行选择8. 简历项目介绍，了解客户端方面9. 反问（部门发展规划，技术栈，AIGC流程探索）爽面，没有拷打八股，也没有拷打算法🥰🥰🥰，面试官人也很好，部门很多地方和很多细节分析，都详细介绍😇期待二面更新：光速约二面更新：15分钟二面完了，说是进入横向环节，先继续投吧更新：已约三面，期待😇更新：三面狠狠拷打了1个小时，还弥补了没有笔试让手撕了算法的环节😭三面后隔天晚上流程结束，可惜了，叹气