1.列举几种数据倾斜的情况，并解释为什么会倾場咏，以及如何解决?2.解释一下 SQL 运行步骤，是否有优化空间如果有，如何优化:SELECT a.id,b.nameFROM a LEFT OUTER JOIN bON a.id =b.idWHERE a.dt='2016-01-01'AND b.dt='2016-01-01';3.已知表 a 是一张内部表，如何将它转换成外部表?请写出相应的 Hive 语句4.用 select 做查询时，用哪个函数给值为null的数据设置默认值?5.Hive 中，建的表为压缩表，但是输入文件为非压缩格式，会产生怎样的现象或者结果?6.订单详情表 ord_det(order_id 订单号，sku_id 商品编号，sale_qtty 销售数量，dt 日期分区)，任务计算2016年1月1 日商品销量的 Top100，并按销量降序排序7.某日志的格式如下:pin|-lrequest_tm|-url|-|sku_id|-|amount，分隔符为"-'，数据样例为:张三-|q2013-11-2311:59:30-www.jd.com-100023-110.15。假设本地数据文件为 sample.txt,先将其导入到 hive的test 库的表t_sample 中，并计算每个用户的总消费金额写出详细过程包括表结构8.test.log 日志中内容如下左列所示，使用awk 输出右列 4行数据:左列:10-3-jd-dv、2-4-jd-dv、5-7-pv-click、36-24-pv-uv、37-24-pv-uV、24-3-uv-mq右列:10-4-jd-dv、5-7-pv-click、37-24-pv-uv、24-3-uv-mq9.Storm 的分组策略有哪些?

找大数据工作八股到底要背到什么程度？首先就是不要死记硬背，要理解记忆，弄懂其中的细节；其次就是找到面试重点，因为你面试完很多场后会发现，经常被问到的题目就那些！如果你还没有参加过面试或者不知道大数据面试重点有哪些，我这里整理了一份面试必背的101道大数据题目，一定会对你有所帮助HDFS的架构HDFS的读写流程小文件过多有什么危害，你知道的解决办法有哪些Secondary NameNode 了解吗，它的工作机制是怎样的简述MapReduce整个流程join原理yarn 的任务提交流程是怎样的简述Hadoop1.0 2.0 3.0区别简述什么是CAP理论，zookeeper满足CAP的哪两个zoo...

1.WordCount 具体是怎么跑的?比如怎么分片、map 阶段做了啥、shuffle 是咋回事、reduce 最后怎么汇总的2.MapReduce和Spark 到底差在哪儿?适用场景这些都得对比着说3.Spark 提交任务时，Client模式和集群模式有啥不一样?比如 Driver 在哪跑、日志在陖瞎圈看、适合啥场景4.同一条 SQL，为啥 SparkSQL 跑起来比HiveSQL 快?得从执行引擎、优化器这些底层说说原因5.自定义 UDF 怎么实现?比如在 Hive 或Spark 里，具体步骤是啥，有没有踩过坑6.设计 HBase 表得注意啥?rowkey 怎么设计才合理、列族要不要分、版本数怎么设，这些睪腘狐旨を曽斷纰可能问到7.HBase 里的 HLog 是干嘛的?跟数据持久化、故障恢复有关系吗8.都是存在 HDFS 上的数据，为啥 HBase 能支持在线实时查询，Hive 就不行?底层存储结构不一样在哪9.用 SparkSQL 操作 Hive 数据时，有没有縈区堠浓ゴ壮攥到过兼容性问题?比如某些函数不支持、数据格式读不对之类的，怎么解决的10.Spark Streaming、Storm、Flink 这几个流处理框架，区别在哪?各自的优缺点和适用场景得搞明白场景题:11.数据量特别大，要用三个 Map 和一个Reduce 来做 Top10，哪种方法效率最高?得考虑怎么减少数据传输、避免倾斜

今天金山云来宣讲，我做的的方向都是导师安排的杂活。涉及到硬件PCB设计、操作系统内核编译、K8S部署、模型轻量化等等。hr说会有边缘计算方向的说我可以投我就投了。并且宣讲会说方向不一致没关系，会有耐心培养，就投递了。十分钟就结束了，面试一上来最后一句说了下爱好，就这一句话，其余都在说项目。直接打断，说那些没有用的就不用说了。然后就让算大模型内存什么，我说我不太会。他说你做过轻量级这不会算吗？然后让看他在纸上写的代码说输出，没说太好。又说你做过嵌入式这都不会？之类的。最后让我反问，我说我看有边缘计算我才投的，说没有，只有服务器异构计算。和HR说的也不一样。可能lz能力一般，但也被宣讲的hr误导了...