阿里云大数据数仓面经

主管面，50分钟1.问项目1是干什么的2.问项目2的技术栈3.问实习的数仓维度建模4.慢sql优化5.为什么选择数据开发而不是前后端测试6.为什么不去美团7.做过数据治理和实时计算吗，讲解8.美团的mafka和kafka的优势9.分布式计算mapreduce过程10.集群发生故障怎么样保证数据安全？11.如何跨集群保证数据安全？两个手撕12.要求c语言，不能用函数，问字符串中最长不重复子串，滑动窗口 哈希表（用数组设置）13.多个用户多个行程id，每条记录是一个用户某一个行程，有起始时间 结束时间 起始地点 结束地点 费用，统计用户和航班的起始时间地点和目标时间地点 总费用输入 用户 ID 行...

1.列举几种数据倾斜的情况，并解释为什么会倾場咏，以及如何解决?2.解释一下 SQL 运行步骤，是否有优化空间如果有，如何优化:SELECT a.id,b.nameFROM a LEFT OUTER JOIN bON a.id =b.idWHERE a.dt='2016-01-01'AND b.dt='2016-01-01';3.已知表 a 是一张内部表，如何将它转换成外部表?请写出相应的 Hive 语句4.用 select 做查询时，用哪个函数给值为null的数据设置默认值?5.Hive 中，建的表为压缩表，但是输入文件为非压缩格式，会产生怎样的现象或者结果?6.订单详情表 ord_det(order_id 订单号，sku_id 商品编号，sale_qtty 销售数量，dt 日期分区)，任务计算2016年1月1 日商品销量的 Top100，并按销量降序排序7.某日志的格式如下:pin|-lrequest_tm|-url|-|sku_id|-|amount，分隔符为"-'，数据样例为:张三-|q2013-11-2311:59:30-www.jd.com-100023-110.15。假设本地数据文件为 sample.txt,先将其导入到 hive的test 库的表t_sample 中，并计算每个用户的总消费金额写出详细过程包括表结构8.test.log 日志中内容如下左列所示，使用awk 输出右列 4行数据:左列:10-3-jd-dv、2-4-jd-dv、5-7-pv-click、36-24-pv-uv、37-24-pv-uV、24-3-uv-mq右列:10-4-jd-dv、5-7-pv-click、37-24-pv-uv、24-3-uv-mq9.Storm 的分组策略有哪些?

找大数据工作八股到底要背到什么程度？首先就是不要死记硬背，要理解记忆，弄懂其中的细节；其次就是找到面试重点，因为你面试完很多场后会发现，经常被问到的题目就那些！如果你还没有参加过面试或者不知道大数据面试重点有哪些，我这里整理了一份面试必背的101道大数据题目，一定会对你有所帮助HDFS的架构HDFS的读写流程小文件过多有什么危害，你知道的解决办法有哪些Secondary NameNode 了解吗，它的工作机制是怎样的简述MapReduce整个流程join原理yarn 的任务提交流程是怎样的简述Hadoop1.0 2.0 3.0区别简述什么是CAP理论，zookeeper满足CAP的哪两个zoo...

1.WordCount 具体是怎么跑的?比如怎么分片、map 阶段做了啥、shuffle 是咋回事、reduce 最后怎么汇总的2.MapReduce和Spark 到底差在哪儿?适用场景这些都得对比着说3.Spark 提交任务时，Client模式和集群模式有啥不一样?比如 Driver 在哪跑、日志在陖瞎圈看、适合啥场景4.同一条 SQL，为啥 SparkSQL 跑起来比HiveSQL 快?得从执行引擎、优化器这些底层说说原因5.自定义 UDF 怎么实现?比如在 Hive 或Spark 里，具体步骤是啥，有没有踩过坑6.设计 HBase 表得注意啥?rowkey 怎么设计才合理、列族要不要分、版本数怎么设，这些睪腘狐旨を曽斷纰可能问到7.HBase 里的 HLog 是干嘛的?跟数据持久化、故障恢复有关系吗8.都是存在 HDFS 上的数据，为啥 HBase 能支持在线实时查询，Hive 就不行?底层存储结构不一样在哪9.用 SparkSQL 操作 Hive 数据时，有没有縈区堠浓ゴ壮攥到过兼容性问题?比如某些函数不支持、数据格式读不对之类的，怎么解决的10.Spark Streaming、Storm、Flink 这几个流处理框架，区别在哪?各自的优缺点和适用场景得搞明白场景题:11.数据量特别大，要用三个 Map 和一个Reduce 来做 Top10，哪种方法效率最高?得考虑怎么减少数据传输、避免倾斜