小米笔试

1.列举几种数据倾斜的情况，并解释为什么会倾場咏，以及如何解决?2.解释一下 SQL 运行步骤，是否有优化空间如果有，如何优化:SELECT a.id,b.nameFROM a LEFT OUTER JOIN bON a.id =b.idWHERE a.dt='2016-01-01'AND b.dt='2016-01-01';3.已知表 a 是一张内部表，如何将它转换成外部表?请写出相应的 Hive 语句4.用 select 做查询时，用哪个函数给值为null的数据设置默认值?5.Hive 中，建的表为压缩表，但是输入文件为非压缩格式，会产生怎样的现象或者结果?6.订单详情表 ord_det(order_id 订单号，sku_id 商品编号，sale_qtty 销售数量，dt 日期分区)，任务计算2016年1月1 日商品销量的 Top100，并按销量降序排序7.某日志的格式如下:pin|-lrequest_tm|-url|-|sku_id|-|amount，分隔符为"-'，数据样例为:张三-|q2013-11-2311:59:30-www.jd.com-100023-110.15。假设本地数据文件为 sample.txt,先将其导入到 hive的test 库的表t_sample 中，并计算每个用户的总消费金额写出详细过程包括表结构8.test.log 日志中内容如下左列所示，使用awk 输出右列 4行数据:左列:10-3-jd-dv、2-4-jd-dv、5-7-pv-click、36-24-pv-uv、37-24-pv-uV、24-3-uv-mq右列:10-4-jd-dv、5-7-pv-click、37-24-pv-uv、24-3-uv-mq9.Storm 的分组策略有哪些?

面试时间：2025.09面试部门：电商timeline：09.24一面，09.29二面，然后转到正式批流程中，就没有后续了一面（80min）面试官介绍部门业务自我介绍+实习经历简介实习经历全方位拷打（35min）Spark SQL的运行流程Spark SQL编译过程中做的一些优化手段刚才提到的都是静态优化，有没有动态优化的手段Spark有哪些Join方式，如何选择，优先级是什么sql题：给一张表student，记录了学生的分数：id, item（课程）, score求科目前10名 以及每个科目的最高分 追问：求最高分是否可以不用join求各学科均>60的学生追问：如果极端情况，某一科所有...

1.自我介绍2.threadLocal是什么，在项目中是怎么用的3.你刚才说到弱引用，那弱引用和非弱引用有什么区别4.jvm中堆和栈各自有什么作用5.比如说我在一个 java 编写的函数，在函数内哪些写法会是分配到那个栈上面，哪些写法的数据会分配到堆6.给了两个例子，让判断是分配在堆上还是栈上7.刚才说到逃逸分析，逃逸分析是个什么技术，他的目的是什么8.问实习9.解释一下乐观锁和悲观锁，它们的核心的差异点在什么10.使用那个乐观锁防超卖？那我想问一下你的技术方案是怎么样的？11.简单的去讲一讲，乐观锁的sql你是怎么实现的，敲在公屏里12.sql题目13.你是人工智能专业，为什么想从事java后端工作，背后的逻辑是什么14.人工智能和传统应用开发，你有什么看法15学校里有没有做过人工智能相关的项目16.（扯到车道识别这项目）那你刚才这里比如车道识别的话，它主要的在现实中要解决问题是什么？17.针对一个没有做过的方向的事情，你是如何去进行学习的？你是如何学习一些新技术的，这些如何去学习的18.反问实习生工作内容大数据相关项目，涉及sql语句编写

一面时间10.29面试了50min，但面试过程中网络经常出问题1、自我介绍2、你觉得大数据专业和计算机科学等专业有啥差异？3、你觉得哪门你的印象比较深刻、对你的影响比较大？4、你觉得大数据和传统数据库的主要区别在哪？5、你觉得事务是什么意思？举个例子6、你觉得整个事务是单纯数据库就可以完成的吗？7、事务能够解决怎样的问题？为啥需要事务——》什么情况下会出现幻读、脏读——》为什么大家不能一个一个读呢？——》并发8、大数据中有并发这种东西吗——》（有时候解决一个问题是靠技术解决，有时是靠一个规范，有的是使用模式）——》数仓怎么解决这个问题？——》（面试官）从技术层面上来讲早期HDFS是有这个问题的，并行写是有问题的，但这个问题是可以忍受的,一是因为不太用的到并发，实际数仓建设中一个表里在一定时间基本只有一个东西在往里写（delete,insert），二是因为出了点问题是可以接受的，早期谷歌大数据搜索，现在记录日志，很少有数仓一边写一边读9、大数据在分布式上的作用是啥，从存储、计算的层面来讲哪些比较有特点——》你觉得100台1G的服务器比较贵还是1台100G的服务器比较贵——》（面试官）100台服务器一直都是比较贵，电力、散热等，但不怎么容易坏——》Yarn解决的啥问题——》啥是计算资源——》讲讲Spark的计算这块介绍一下10、场景：你到现场，没有任何数据平台，给一份文件（数据量极大，以京东白条这种为例），第一列是时间，第二列是用户人名，第三列是消费金额，我现在要做个排序，找出单日消费前10的人，服务器上性能较一般，但啥语言工具都有，你会怎么解决？——》你觉得并行和并发有什么区别——》（面试官）一个大数据任务本质上处理方法是一样的，无非节点多就并行做，节点少就串行做，节点不多不少就整体并行，每个并行里是串行。11、聊聊你的离线数仓——》为什么企业要建数仓？——》数仓分层的依据——》ODS的中文是啥（回答错了）——》如果ODS和数仓只能留一个，你准备留哪个？（回答错，实际是保留ODS）——》你既然回答的理直气壮，那你觉得ODS为什么还留着，为什么没被干掉？（面试官跳过了）12、你觉得数仓几个层要被干掉一个，你觉得哪个层要被合并——》DWS（？）13、你对维度建模理论有了解吗？——》你觉得维度建模理论提出是为了解决啥问题，为什么要搞维度表，事实表，为什么不搞个宽表，2、300个字段堆那？——》你觉得实际工作中宽表用的多不多——》（面试官原话）所以你觉得维度建模理论是扯淡吗（笑）——》你觉得谁喜欢宽表？——》（面试官）政府部门的人相当喜欢宽表，实际工作环境中，不查数据，一般都是要求下载为excel，他只关心本部门的数据，那个数据没有那么多，他也不会写SQL，就要求你整到一起下载到excel让他去操作。（面试官）为什么这些理论和实际差别很大呢——》早期数仓很贵ODS最大的价值——》万一领导马上就要数据，数仓来不及跑，可以直接从ODS拿，像泄洪闸一样的方便的东西，另外一般参与ODS建设的人的资历比较老，ODS可以减小，但不能被干掉。面试官建议：你的逻辑能力、学习能力都不错，再找个方向去积累，数仓有些没那么牛，但可以做很久。