三分之一 提问：辉哥你好，我现在大三，学了Hadoop，目前在学spark和hive，现在还需要学数据结构和算法吗，如果要那什么时候学呢1. 数据结构要学的，算法可以看看排序这一块，如果不准备冲击大厂，数据开发可以不准备算法;2. 建议学java后就可以学数据结构了，这块没有固定时间点。

#实习#  #校招#  #校招#  #数据仓库#

大数据20+面经分析出的问题及其出现频率，每个问题被哪些公司问过。以下是具体的面试问题、频率和相关公司：   自我介绍  出现5次 相关公司：恒生电子、绿盟科技、饿了么、快手、中国电信    实习经历  出现4次 相关公司：恒生电子、巨杉数据库、饿了么、快手    项目介绍/项目经验  出现4次 相关公司：恒生电子、字节跳动抖音、美团、携程    数据库相关问题  出现3次 具体问题：  关系表的主键、外键（恒生电子） 数据库安全SQL注入，特权提升（巨杉数据库） 索引的数据结构、索引下推、Acid、MVCC原理等（阿里巴巴）      数仓相关问题  出现3次 具体问题：  数仓怎么分层的，...

美团一面 1. 说一说对Hadoop体系的理解及其核心组件的功能。2. 数据上传到HDFS时如何划分数据块以及块与文件的对应关系。3. Hive常见的优化方案以及具体的实施方法。4. 数据仓库的分层结构DWD和DWS层是必须的吗？它们分别是做什么的。5. MySQL事务的四个原则（ACID）及其含义。6. MySQL中索引的分类及其区别（如聚集索引、簇状索引、非簇状索引）。7. 前缀索引及最左匹配原则的理解。8. Spark中RDD的宽窄依赖的区分，并举例说明哪些算子属于宽依赖或窄依赖。9. 简历深挖10. 遇到的最大的困难写sql，次日留存率讲讲你对维度建模的理解你觉得什么样的数仓是一个比较好的数仓？写sql，最大连续登录天数

北京朗境科技有限责任公司一面（实习）来个简单的自我介绍吧你做过数仓项目吧，那你说说你在数仓搭建的职责是什么？Hive你学过吧，SQL优化你知道哪些HDFS的读写流程是什么？写流程呢？你们这个项目是几个人做的啊？你和团队怎么配合沟通合作的呢？你在桂电是吧，你目前在北京吗，为什么想来北京实习？你实习的时间，多长呢？Python你怎么用的？Pandas库知道吧，我要读个csv文件，我需要哪些API呢我：不会

上海腾桥信息技术（实习）数仓做个简单的自我介绍吧2你学习过Hadoop吧，说一下用他做了哪些开发吧3 谈谈hdfs的理解4 namenode主要存储什么数据5 namenode存储了大量的文件（不是小文件），那么怎么解决6 谈谈HDFS的读写流程7 HDFS中如果namenode挂了，怎么办？8 谈谈你对SecondaryNamenode的看法，我不用他行不行？9 你学过Kafka是吧，那么他为什么可以高吞吐量10 消费Kafka是，一个分区可以供给多个线程，还是多个线程可以读一个分区11 Kafka的数据你们存储多少？ 每秒有多大的数据量12 Kafka的数据读写为什么快？13 你在项目中怎么用的Kafka？14 你学过Hive是吧？那么我问你一个题目15 两个题目，SQL的有用户id，有登录日期，请你计算连续7天登录的人数16 我有员工id，我有支付金额，请你计算每个人的最大的金额17 这个题目比较开放，我有一张新的表，存储新的数据，你如何大体的了解这张表的信息，说思路18 怎么解决的数据倾斜问题19 你在桂电，你现在是在学校吗？ 为什么想来上海20 你每周5天，实习三个月可以吗？21 反问

自我介绍 说说doris的模型 分区 分桶如何选择？说说你之前实习如何和产品或数分沟通协作的说一下你从事了哪些业务线说一下你从事业务下的核心指标（这里最好补充一下派生指标）你们的纬度表有哪些(主要考察你是不是做了这块业务线)说一下数仓的星型模型和雪花模型理解(最好说概念，说一下当下业务线选择模型的原因)场景题：看你做的很多，说一下数据规范应该怎么做（简单说一下，表，字段，规则，要求举例）有从事数据治理相关的么（说一下治理大纲就行）说一下GC模型 遇到过gc调优吗yarn有哪些了解讲讲hql转化为MR源码hbase读写流程hive数据倾斜checkpoint介绍一下状态后端讲一下flink exactly-once如何保证flink的minibatch

实习 货拉拉1面-数仓自我介绍 被打断哈哈项目深挖数仓怎么分层的？分层的好处？数据倾斜怎么解决的？ADS指标怎么开发的？实时数仓过程中遇到的问题？比如数据一致性？数据治理过程中怎么和业务方沟通，怎么推进（leader&下游），有什么问题？有么有遇到数据漂移，怎么解决（说实话突然就卡住了，解决方法基本上就是业务时间落盘保障时间，然后就是dqc 监控）技术题（基本等于没问）：sql了解多少，说一下开窗函数有哪些（老生常谈了）为什么选择我们公司？你对我们公司业务有多少的了解

数仓是什么？？？数仓在企业是什么定位？？老油条带你再上一个理解层次！看图！！

辉哥，hive中有没有实现递归的方案？我有个场景，需要循环350次，第二天的数据依赖第一天的数据计算，第三天依赖第二天的数据计算，以此类推到350次。目前用的阿里云的mc，但是CTE只有10次，无法满足该需求。用阿里那边自带的while循环，跑完350次大概要3个半多小时，有没有啥方案可以优化的呀em，背景就是电商平台的那种预测销量表，比如根据今天的库存，算接下来的350天的值，大概逻辑为：当天的实际库存-季节因子*增长因子+实际需要库存的数量。比如今天预测的11-19号数据，来源于18号，然后将19号的数据写入对应的日期，下一个循环，再从20号拿19号的数据计算。1. 没有业务数据细节，没有背景，我只能建议udf，或者另外开发java etl2.用的阿里的，直接向他们要优化方案3.原数据能不能预聚合下 我看你的需求是不是聚合一个天粒度销量能缓解数据量问题

双非二本大数据仔：数开 or 后端？别再让我纠结啦粉丝内容：双非二本大数据专业大三学生。我现在会 Hadoop、spark、hive、kafaka、flume 这些玩意儿呢，一直跟着 sgg 路线走。可我瞅着吧，感觉双非上岸数据开发那难度就像攀珠峰，太高啦！我就开始犹豫，是接着在这条路上死磕呢，还是转头去学后端？或者干脆贪心点，两个一起学？辉哥锐评：这网上信息看多了，那真是越看越迷糊，就跟进了迷宫似的，净让我焦虑。咱得整点实在的，多学点东西才是王道啊！多去跟大佬取取经，学学他们的经验。还有啊，得把简历好好优化优化，那可是咱的“敲门砖”呢！另外，数据仓库相关技术也得多搞搞，后面面试和工作都能用上