【快手】快手大数据开发工程师面经

1、自我介绍2、spark宽窄依赖，stage划分3、rdd的弹性体现在什么方面4、group by 和reduce by的区别5、spark内存划分，内存调优参数6、spark的join有哪些，sort merge（没答出来）7、spark的shuffle过程，和mr的区别8、数仓总线业务矩阵是什么9、数仓分层，dws层存在的必要性是什么10、spark以及sql的优化经验（数据倾斜除了加前缀还有什么方法，大表join大表怎么办）11、小文件问题怎么处理12、用户id两张表设计时一个是bigint一个是string后面join有什么后果（没答上来，面试官说底层先会转成double）13、round和roundseed的区别（面试官说假如maptask失败后round会分配到不同的reduce中，roundseed每次随机的值是一样的，网上没有查到roundseed，有没有大佬教教是不是我听错了）14、两道sql①连续登录天数②互相关注的用户（用case+concat）一次体验不错的面试，面试官人真的好好，很耐心引导我不会的问题，许愿二面更新 3.29二面

双非硕，求各位佬帮忙看看简历有哪些问题，主打听劝#大数据开发##实习岗位前的准备##简历被挂麻了，求建议##最后再改一次简历##春招还有救吗#

#软件开发2024笔面经# 1、自我介绍2、数仓怎么自学的3、整个项目架构说一下4、数据域是什么概念（提到了数据类型），那如何界定数据类型呢5、总线矩阵构建过程6、dwd层怎么设计的7、了解业务过程这个概念吗8、分域的话，在dws表中有没有可能会跨域（举了个互动域和活动域的例子），结果告诉我这样的话你的互动域设计的其实是有问题的（挖坑给我跳，悲）9、星形模型和雪花模型10、缓慢变化纬为什么用拉链表，他说他第一次听说拉链表是为了这个设计的11、mapreduce的计算过程12、上述过程排序的目的是什么13、reduce怎么知道哪些数据该被他拉走，假如有10个reduce会拉几个map14、spark排序和mapreduce排序有什么区别15、combiner是什么，在哪里用过，怎么用的16、rdd五大特性17、你怎么理解分区器，分区器可以做什么优化，就单单能提高并行度吗18、一道动态规划，比较常规，但没调出来面试官建议：数仓部分掌握的不错，多刷题自己的算法能力是真的lj，感觉就最后这道算法题一下给我判死刑了，面试官搁旁边耐心引导，但我就是磨磨唧唧才搞出来，看来之后还得继续大战**。

 适合小白或者其他领域转Flink或者轻度使用者查看，大佬轻轻喷基础篇1. 什么是Apache Flink？​Apache Flink是一个开源的流处理和批处理框架，可以实现快速、可靠、可扩展的大数据处理。​2. Flink与Hadoop的区别是什么？​Flink是一个全面的流处理和批处理框架，提供了低延迟和高吞吐量的实时数据处理能力，而Hadoop更侧重于离线批处理。​3. Flink中的事件时间（Event Time）和处理时间（Processing Time）有什么区别？​事件时间是数据实际生成的时间，而处理时间是数据到达Flink系统的时间。事件时间可以通过时间戳标记数据，而处理时间是Flink根据数据到达的顺序生成的。​4. Flink的容错机制是如何实现的？​Flink使用检查点（Checkpoint）机制实现容错。它会定期保存应用程序的状态，并在发生故障时恢复到最近的一个检查点状态。​5. 什么是Flink的窗口（Window）？窗口是Flink中用于对无限数据流进行有界处理的机制。它将无限流切分为有限的、不重叠的块，并对每个窗口进行计算。6. Flink支持哪些类型的窗口？​Flink支持滚动窗口（Tumbling Window）、滑动窗口（Sliding Window）和会话窗口（Session Window）。7. Flink中的状态后端（State Backend）是什么？​状态后端是Flink用于保存和管理应用程序状态的机制。它可以存储状态到内存、文件系统或分布式存储系统（如HDFS）中。8. Flink的水印（Watermark）是什么？​水印是用于表示事件时间进度的标记。它通常与数据流中的时间戳一起使用，用于处理乱序事件和延迟数据。9. Flink的时间窗口触发器（Trigger）是什么？​时间窗口触发器用于控制何时触发计算窗口的输出。它可以基于元素数量、处理时间、水印等条件进行触发。​... 完整版见：原文链接：https://blog.csdn.net/qq_30757161/article/details/137459710#数据开发##金三银四，你有感觉到吗##大数据#