推荐阅读文章列表：大数据开发面试笔记V4.0 || 面试聊数仓第一季 || 小白大数据学习路线 一、前言快手海量hc！！！快手海量hc！！！快手海量hc！！！一点不夸张，业务发展迅猛，大量招人二、高频面试题总结1. 当数据量很大的时候，count(distinct uid)计算失败怎么办两种解决方案：采用group by将uid转换为bitmap存储，然后再求总数，不仅计算优化，对存储也优化（***）2. ClickHouse为什么快数据是基于列式存储的，这样对于列的聚合统计更加有优势多样化的表引擎，可以根据不同的需求选取不同的表引擎，比如replacingmergetree，summingm...

互联网越来越卷，建议大家尽早准备，多出去实习，秋招才有更多的机会！！！还不知道怎么学习大数据的，一定要看 我的大数据之路https://www.nowcoder.com/discuss/472719451583016960

推荐阅读文章列表：大数据开发面试笔记V4.0 || 面试聊数仓第一季 || 小白大数据学习路线 一、JD分析根据业务方提供的需求，完成数仓建模开发【考察业务理解和SQL能力】深入理解需求，建立核心指标，完成数据质量监控【考察业务理解和数据质量保障能力】二、高频面试题总结1. 如何进行数据质量监控从四个原则来回答：【每个原则再结合实际来举例，吊打面试官，不懂的评论区讨论一下】准确性完整性一致性及时性2. 讲一下项目中是如何分层的先简单介绍五层架构：ods、dwd、dwm、dws、ads然后介绍为什么这样分层，每一层干了什么3. MapReduce的过程map阶段：首先通过InputFormat把...

推荐阅读文章列表：大数据开发面试笔记V4.0 || 面试聊数仓第一季 || 小白大数据学习路线 一、前言阿里巴巴2024届校园招聘正式开启，注意1+6+N分开招聘，机会变多了冲起来，兄弟姐妹们，我帮大家整理好了大数据开发的高频面试题，希望对你有用！！！注意：以下仅涉及大数据开发的知识，并不是说面试只会问这些，一般还会问java和计算机基础的八股文二、高频面试题总结1. MapReduce Shuffle为什么要将数据写入环形缓冲区Map的输出结果是由collector处理的，每个Map任务不断地将键值对输出到在内存中构造的一个环形数据结构中。使用环形数据结构是为了更有效地使用内存空间，在内存中...

推荐阅读文章列表：大数据开发面试笔记V4.0 || 面试聊数仓第一季 || 小白大数据学习路线 一、前言京东2024届校园招聘面向应届生开放8000+岗位！！！冲起来，兄弟们，我帮大家整理好了大数据开发的高频面试题，希望对你有用！！！二、高频面试题总结 1. clickhouse的写入和读取为什么快写入：ClickHouse采用类LSM Tree的结构，数据写入后定期在后台Compaction，而且， ClickHouse在数据导入时全部是顺序写入，写入后数据段不可更改，在后台 compaction 时也是多个段 合并排序后写回磁盘。读取：本质就是利用优秀的存储引擎来减少磁盘IO对性能的影响，...

推荐阅读文章列表：大数据开发面试笔记V4.0 || 面试聊数仓第一 || 小白大数据学习路线 美团2024届校园招聘即将开始！！！为了帮助大家收割美团offer，本来打算整理一篇美团的面试宝典分享给大家，但是刷牛客突然看见社群的一位同学分享的美团面试题挺不错的，大家可以看看：https://www.nowcoder.com/discuss/481502310120562688个人觉得写的非常不错，建议全文背诵！！！关于美团的面试，我就想说一点：面试真的是全问八股文，特别是一面！！！之前美团面试给我的感觉，就像是我跟面试官拿的同一套面试题

推荐阅读文章列表：大数据开发面试笔记V4.0 || 面试聊数仓第一季 || 小白大数据学习路线 一、前言7月11日，百度开启了2024届校园招聘提前批专场！！！同学们不要担心没准备好，只用准备到8成即可，赶紧投起来，hc有限！！！为了帮助大家收割百度提前批offer，最近整理了一些百度高频的面试题，题目不多，建议全部吃透！！！二、高频面试题总结1. Flink里面断流怎么处理线上断流指的是在变更过程中导致下游数据延迟的时长解法 1：双链路切换。此解法的关键是再搭建一条相同的实时链路作为备用链路，当变更有状态 SQL 时，可以在备用链路上做回溯，重新计算历史数据，回溯完成后先验证备用链路的结果数...

推荐阅读文章列表：大数据开发面试笔记V4.0 || 面试聊数仓第一 || 小白大数据学习路线 全文1.5w字，题目比较多，请耐心阅读！！！一、前言原文链接：https://www.nowcoder.com/share/jump/1689088775835之前发过一篇字节跳动面经汇总的帖子，但是当时答案并没有更新完全，最近在字节开了提前批后，我立马更新了所有的题目答案，发出来供大家面试参考！！！赶紧投递！！！赶紧投递！！！赶紧投递！！！二、面经汇总Hadoop篇1.介绍一下Hadoop hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构，主要解决海量数据存储与计算...

推荐阅读文章列表：最新大数据开发面试笔记V4.0面试聊数仓第一季小白大数据学习路线1、前言6月28日，oppo率先开启了2024届校园招聘提前批专场！！！同学们不要担心没准备好，只用准备到8成即可，赶紧投起来，hc有限！！！为了帮助大家收割oppo提前批offer，最近整理了一些oppo高频的面试题，题目不多，建议全部吃透！！！2、高频面试题1. Kafka是读写分离的吗在 Kafka 中，生产者写入消息、消费者读取消息的操作都是与 leader 副本进行交互的，从而实现的是一种主写主读的生产消费模型。虽然主写从读可以让从节点去分担主节点的负载压力，预防主节点负载过重而从节点却空闲的情况发生。...

希望大家耐心读完此文，一定会有所收获！！！相信到这个阶段，同学们一轮复习已经结束了！！！也就是 刷题能力+语言基础+所有框架的基础原理+项目 这四个内容都基本准备妥当了接下来，我将从我自己的亲身经历来给大家后续无论是提前批还是秋招，如何收割大厂offer提供一些思路对于暑期没有实习的同学我想说：大家一定不要恐慌，这个时候就可以开始全身心投入到提前批的准备当中了对于暑期正在实习的同学我想说：重心需要在实习上，抓住转正的机会，为秋招做准备，如果工作不忙，可以找一下提前批第一事情就是做简历，因为有些同学可能没有找过实习，因此之前没有现成的简历，做简历非常重要！！！非常重要！！！非常重要！！！比如项目...

面试题来源于社群内的一位具有五年数仓开发经验的同学在面试美团的时候记录的SQL题~~如果有对其中任意一道题目的答案有疑问的同学，可以在评论区和我进行讨论~~一面需求描述 订单基础表order_base ------------------- order_id 订单id bus_id 商家id user_id 用户id amt 支付金额 dt 日期【分区】 统计每个月支付金额排名前3的用户id展示每个用户每月的最大支付金额和截止到该月的总支付金额答案解析 -- 统计每个月支付金额排名前3的用户id select month ,user_id from ( select month ,user_i...

    2023年4月，大数据开发面试笔记V3.0发布，过去已经两个月，V4.0终于来了，这次主要新增了企业级调优手法以及数据湖基础等内容。如今面试越来越难，常常会被问到大数据的前沿知识比如数据湖，以及企业级调优手段有哪些等，于是我结合自己在大厂的工作经历进行了补充，最终汇聚成一份全面的大数据开发面试笔记。    此笔记包含大数据开发、Java、计算机基础、数仓理论、常考SQL、大数据开发场景题、大厂面经合集、大厂SQL真题、企业级调优手法、数据湖基础等十大模块，并且所有内容会持续更新。第一部分 大数据开发HDFS...

疫情用户行为轨迹分析【美团、阿里】问题描述已知用户-核酸站点表t1和用户-商场扫码表t2，统计用户每天的行动轨迹。注意：商场扫码表中存在重复扫码的情况，取最新的数据。 -- t1 user_id in_time out_time stat_id 001 2022-05-20 15:31:21 null 001 001 null 2022-05-20 16:01:05 002 001 2022-05-20 18:02:21 null 003 001 null 2022-05-20 18:22:17 001 001 2022-05-20 20:39:27 null 004 001 null 202...

一、前言上次有个同学跟我说字节面试居然问他懂不懂数据湖，现在大数据找工作已经卷到这种地步了吗今天就来跟大家聊一聊数据湖首先弄清楚数据湖是什么？数据湖是一个集中式存储库，允许存储所有结构化和非结构化数据这时候就会有人问，和数据仓库有什么区别？即便说了这么多，可能你还是对数据湖的概念很模糊那么我们来看一下数据仓库的问题：我们只能增加字段，很难去下线一个字段，真的要下线某一个字段，风险非常高数据更新的底层是把整个表的数据重新生成一遍，再覆盖掉历史数据，成本非常高增删改没有事务性保障，而在传统的数据库中有成熟的一致性解决方案索引功能是有限的，一般很少建立索引，3.0版本已经没有索引了无法满足算法人员对...