推荐阅读文章列表：大数据开发面试笔记V4.0 || 面试聊数仓第一季 || 小白大数据学习路线 很多大厂的面试官都会问这种大数据量下如何计算的问题，所以大家提前准备好答题套路，吊打面试官1亿个整数中找出最大的10000个数 首先想到的就是全局排序，那么需要判断内存是否能够装的下？1*10^9*4B = 4GB，需要4G的内存，如果机器的内存小于4G，显然是不行的第二种方法就是分治法，将这1亿个数通过hash算法，分为1000份，每份100万个数据，找到每份数据中最大的10000个数，最后在100*10000中找出最大的10000个数，最大占用内存为 1000000*4B = 4...

推荐阅读文章列表：大数据开发面试笔记V4.0 || 面试聊数仓第一季 || 小白大数据学习路线 小明："完蛋了，故障被定了P1，今年白干了，没奖金了"我相信很多工作的同学都或多或少发生过P1故障，没发生过P1故障的同学，职业生涯还不够完美~今天就来回顾一下数据质量的一些理论实践，教会大家如何工作中避免P1故障~建议目前有找工作需求的在校大学生们认真看一看这篇文章，对你会有很大的帮助~1. 数据质量保障原则1.1 完整性定义：完整性是指数据的记录和信息是否完整，是否存在缺失的情况。数据的缺失主要包括记录的缺失和记录中某个字段信息的缺失，两者都会造成统计结果不准确...

推荐阅读文章列表：大数据开发面试笔记V4.0 || 面试聊数仓第一季 || 小白大数据学习路线 很多人问我：三石兄，简历没什么亮点怎么办，模型优化除了知道mapjoin，其他啥都不知道，那么这篇文章就可以成为你在面试过程中跟面试官谈论的一个亮点！！！1.背景需求：统计8月每种商品类别的购买人数 select mer_type, count(distinct uid) from t -- 表t在100G左右 where dt between '20230801' and '20230831' group by mer_type 背景：这个任务跑了2h仍未跑出结果，就是因为count...

推荐阅读文章列表：大数据开发面试笔记V4.0 || 面试聊数仓第一季 || 小白大数据学习路线 一、前言快手海量hc！！！快手海量hc！！！快手海量hc！！！一点不夸张，业务发展迅猛，大量招人二、高频面试题总结1. 当数据量很大的时候，count(distinct uid)计算失败怎么办两种解决方案：采用group by将uid转换为bitmap存储，然后再求总数，不仅计算优化，对存储也优化（***）2. ClickHouse为什么快数据是基于列式存储的，这样对于列的聚合统计更加有优势多样化的表引擎，可以根据不同的需求选取不同的表引擎，比如replacingmergetree，s...

互联网越来越卷，建议大家尽早准备，多出去实习，秋招才有更多的机会！！！还不知道怎么学习大数据的，一定要看 我的大数据之路https://www.nowcoder.com/discuss/472719451583016960

推荐阅读文章列表：大数据开发面试笔记V4.0 || 面试聊数仓第一季 || 小白大数据学习路线 一、JD分析根据业务方提供的需求，完成数仓建模开发【考察业务理解和SQL能力】深入理解需求，建立核心指标，完成数据质量监控【考察业务理解和数据质量保障能力】二、高频面试题总结1. 如何进行数据质量监控从四个原则来回答：【每个原则再结合实际来举例，吊打面试官，不懂的评论区讨论一下】准确性完整性一致性及时性2. 讲一下项目中是如何分层的先简单介绍五层架构：ods、dwd、dwm、dws、ads然后介绍为什么这样分层，每一层干了什么3. MapReduce的过程map阶段：首先通过Input...

推荐阅读文章列表：大数据开发面试笔记V4.0 || 面试聊数仓第一季 || 小白大数据学习路线 一、前言阿里巴巴2024届校园招聘正式开启，注意1+6+N分开招聘，机会变多了冲起来，兄弟姐妹们，我帮大家整理好了大数据开发的高频面试题，希望对你有用！！！注意：以下仅涉及大数据开发的知识，并不是说面试只会问这些，一般还会问java和计算机基础的八股文二、高频面试题总结1. MapReduce Shuffle为什么要将数据写入环形缓冲区Map的输出结果是由collector处理的，每个Map任务不断地将键值对输出到在内存中构造的一个环形数据结构中。使用环形数据结构是为了更有效地使用内存...

推荐阅读文章列表：大数据开发面试笔记V4.0 || 面试聊数仓第一季 || 小白大数据学习路线 一、前言京东2024届校园招聘面向应届生开放8000+岗位！！！冲起来，兄弟们，我帮大家整理好了大数据开发的高频面试题，希望对你有用！！！二、高频面试题总结 1. clickhouse的写入和读取为什么快写入：ClickHouse采用类LSM Tree的结构，数据写入后定期在后台Compaction，而且， ClickHouse在数据导入时全部是顺序写入，写入后数据段不可更改，在后台 compaction 时也是多个段 合并排序后写回磁盘。读取：本质就是利用优秀的存储引擎来减少磁盘IO...

推荐阅读文章列表：大数据开发面试笔记V4.0 || 面试聊数仓第一 || 小白大数据学习路线 美团2024届校园招聘即将开始！！！为了帮助大家收割美团offer，本来打算整理一篇美团的面试宝典分享给大家，但是刷牛客突然看见社群的一位同学分享的美团面试题挺不错的，大家可以看看：https://www.nowcoder.com/discuss/481502310120562688个人觉得写的非常不错，建议全文背诵！！！关于美团的面试，我就想说一点：面试真的是全问八股文，特别是一面！！！之前美团面试给我的感觉，就像是我跟面试官拿的同一套面试题

推荐阅读文章列表：大数据开发面试笔记V4.0 || 面试聊数仓第一季 || 小白大数据学习路线 一、前言7月11日，百度开启了2024届校园招聘提前批专场！！！同学们不要担心没准备好，只用准备到8成即可，赶紧投起来，hc有限！！！为了帮助大家收割百度提前批offer，最近整理了一些百度高频的面试题，题目不多，建议全部吃透！！！二、高频面试题总结1. Flink里面断流怎么处理线上断流指的是在变更过程中导致下游数据延迟的时长解法 1：双链路切换。此解法的关键是再搭建一条相同的实时链路作为备用链路，当变更有状态 SQL 时，可以在备用链路上做回溯，重新计算历史数据，回溯完成后先验证备...

推荐阅读文章列表：大数据开发面试笔记V4.0 || 面试聊数仓第一 || 小白大数据学习路线 全文1.5w字，题目比较多，请耐心阅读！！！一、前言原文链接：https://www.nowcoder.com/share/jump/1689088775835之前发过一篇字节跳动面经汇总的帖子，但是当时答案并没有更新完全，最近在字节开了提前批后，我立马更新了所有的题目答案，发出来供大家面试参考！！！赶紧投递！！！赶紧投递！！！赶紧投递！！！二、面经汇总Hadoop篇1.介绍一下Hadoop hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构，主要解决海...

推荐阅读文章列表：最新大数据开发面试笔记V4.0面试聊数仓第一季小白大数据学习路线1、前言6月28日，oppo率先开启了2024届校园招聘提前批专场！！！同学们不要担心没准备好，只用准备到8成即可，赶紧投起来，hc有限！！！为了帮助大家收割oppo提前批offer，最近整理了一些oppo高频的面试题，题目不多，建议全部吃透！！！2、高频面试题1. Kafka是读写分离的吗在 Kafka 中，生产者写入消息、消费者读取消息的操作都是与 leader 副本进行交互的，从而实现的是一种主写主读的生产消费模型。虽然主写从读可以让从节点去分担主节点的负载压力，预防主节点负载过重而从节点却空闲的情况发生。...

希望大家耐心读完此文，一定会有所收获！！！相信到这个阶段，同学们一轮复习已经结束了！！！也就是 刷题能力+语言基础+所有框架的基础原理+项目 这四个内容都基本准备妥当了接下来，我将从我自己的亲身经历来给大家后续无论是提前批还是秋招，如何收割大厂offer提供一些思路对于暑期没有实习的同学我想说：大家一定不要恐慌，这个时候就可以开始全身心投入到提前批的准备当中了对于暑期正在实习的同学我想说：重心需要在实习上，抓住转正的机会，为秋招做准备，如果工作不忙，可以找一下提前批第一事情就是做简历，因为有些同学可能没有找过实习，因此之前没有现成的简历，做简历非常重要！！！非常重要！！！非常重要！！！比如项目...

面试题来源于社群内的一位具有五年数仓开发经验的同学在面试美团的时候记录的SQL题~~如果有对其中任意一道题目的答案有疑问的同学，可以在评论区和我进行讨论~~一面需求描述 订单基础表order_base ------------------- order_id 订单id bus_id 商家id user_id 用户id amt 支付金额 dt 日期【分区】 统计每个月支付金额排名前3的用户id展示每个用户每月的最大支付金额和截止到该月的总支付金额答案解析 -- 统计每个月支付金额排名前3的用户id select month ,user_id from ( se...