美团-项目实习(1个hc)

投的日常实习1.自我介绍2.分布式mysql相关原理3.b+树和b树区别4.redis与mysql一致性问题5.redis相关的缓存穿透，缓存击穿，缓存雪崩。6.zookeeper选举机制7.Kafka为什么快？8.spark为什么比mapreduce快？9.spark内存模型10 mapreduce的shuffle过程11 讲讲数仓中的数据模型12.leetcode 41题缺失的正数变种，数列的数据范围在1 <= an <= n,其中一部分是单独的一个数，另一部分是两个数，请你在o(1)的空间复杂度和o(n)的时间复杂度内拿到重复的数字。13.反问....浏览器没跟上版本，说完算法思路结束会议之后秒挂总体来说理解需要更深刻

📍面试公司：虾皮🕐面试时间：6.30 一面 7.4 二面 7.8感谢信💻面试岗位：大数据开发❓面试问题：主要是实习拷打数仓数据流向，具体业务介绍，业务接口跟数据的用户讲一个具体的业务，体现所用的技术栈从问题2深入，涉及到并发场景不可重复读怎么解决大数据技术栈，Spark，怎么用的，讲了怎么优化实际任务（数据倾斜/Shuffle优化）数据倾斜这里让描述下快排当前业务有没有写错数据的情况，如果当前数仓写到Kafa写错了，该怎么重新写入？比如HDFS这就错了，但写到kafa->业务表已经出问题了，怎么解决回答主要考虑一致性和重写时候服务是否可用如果让你从具体Kafka topic消费到入...

一·语言方面：由于很多大数据框架都是基于JAVA开发的，个人认为JAVA语言是必不可少的，有余力的话可以去掌握以下PYTHON😊二·数据结构与算法：大二课上没好好学，现在只能再补一遍了，悲😣打算刷完Leetcode的Hot100就先放一边，等秋招再刷别的题😇三·MYSQL:一个关系型数据库管理系统，SQL BOY的开始，初步领略通过建表来管理数据的思想，学完可以去刷一下基础50题和进阶50题（虽然本菜鸡只刷了基础50😓）四·Linux:会安装虚拟机，掌握常见linux常见命令即可五·Hadoop:一个分布式计算框架。所谓分布式，就是将一台电脑无法处理的数据量分散给一个由多台电脑组成的计算机集群来处理，互相分工，彼此合作，形成一个有机整体。框架分为三部分：HDFS（数据存储），MapReduce(数据计算），Yarn（资源调度）。虽然MapReduce已经逐渐被Spark淘汰，但思想依然值得借鉴。高可用机制也应当学习六·Maven:会用即可，打包项目用的七·Hive：也是一种SQL，有了MYSQL的基础应该还算好理解八·Scala和Spark：Spark是用Scala写的，在学习之前得先浏览一遍基本语法。Spark是基于内存的批式计算引擎，已经逐渐取代MapReduce（基于磁盘的计算引擎），APACHE也基本上停止了对MapReduce的更新（经典白学😃）。将来很多离线数仓项目也都是基于SPARK的，可以说非常重要了九·Kafka，Hbase，Flume和ZooKeeper：都是一些小组件，将来面试可能会问到十·Flink：一个流式实时计算引擎，本人JAVA基础较弱，听的时候也是懵懵懂懂当然，仅仅这些肯定远远不够，本人将来还要学Doris，数仓建模理论，数仓项目，八股面经等等。上述理解如有错误还请友好指正（叠甲叠甲叠甲😱）。这些理论也只是匆匆过了一遍（大一太贪玩，大二2月份才开始学），发布笔记也只是记录自己的学习过程，提醒自己不要懈怠（还有当个免费网盘😏）。如果能帮助到你就更好了，虽然我也比较迷茫😖

携程oc了😭😭😭