大数据开发学习路线指南（本人亲测）

1.列举几种数据倾斜的情况，并解释为什么会倾場咏，以及如何解决?2.解释一下 SQL 运行步骤，是否有优化空间如果有，如何优化:SELECT a.id,b.nameFROM a LEFT OUTER JOIN bON a.id =b.idWHERE a.dt='2016-01-01'AND b.dt='2016-01-01';3.已知表 a 是一张内部表，如何将它转换成外部表?请写出相应的 Hive 语句4.用 select 做查询时，用哪个函数给值为null的数据设置默认值?5.Hive 中，建的表为压缩表，但是输入文件为非压缩格式，会产生怎样的现象或者结果?6.订单详情表 ord_det(order_id 订单号，sku_id 商品编号，sale_qtty 销售数量，dt 日期分区)，任务计算2016年1月1 日商品销量的 Top100，并按销量降序排序7.某日志的格式如下:pin|-lrequest_tm|-url|-|sku_id|-|amount，分隔符为"-'，数据样例为:张三-|q2013-11-2311:59:30-www.jd.com-100023-110.15。假设本地数据文件为 sample.txt,先将其导入到 hive的test 库的表t_sample 中，并计算每个用户的总消费金额写出详细过程包括表结构8.test.log 日志中内容如下左列所示，使用awk 输出右列 4行数据:左列:10-3-jd-dv、2-4-jd-dv、5-7-pv-click、36-24-pv-uv、37-24-pv-uV、24-3-uv-mq右列:10-4-jd-dv、5-7-pv-click、37-24-pv-uv、24-3-uv-mq9.Storm 的分组策略有哪些?

面试时间：2025.03面试部门：生活服务timeline：3.12一面，后续已拒一面（45min）自我介绍离线数仓项目介绍（业务细节+建模过程）实习经历中如何整合异构数据源（说了数据采集工具、采集过程以及ELT思路）事实表的分类及其应用场景（事务型，周期快照型，累计快照型）简要说明数据倾斜问题如何解决（hive+spark）sql手撕：最大连续登录天数算法手撕：数组倒序排序（选一种排序方法即可，我选的快排）

1.挑一个项目介绍2.了解实习经历3.针对实习项目，问数据层次怎么分层4.数据分层的作用5.针对具体实习项目，说明业务逻辑6.说明实习项目的“订单量"这个指标从源头到产出的 ETL过程7.针对实习项目，复盘后最大的难点是什么8.复盘之后有什么收获9.你刚才说复盘收获是处理小文件，那么spark怎么处理小文件的?10.处理小文件有哪些方法，举例子11.hive冷热分离的方法12.你刚才提到了组里有做ec存储，你了解ec存储吗13.暑期实习有什么感受，转正了吗 15分钟14.了解spark的semi join吗，他是干嘛的15.了解spark的AQE，这是什么16.你刚才讲AQE提到了广播机制，这个在spark中很重要，讲讲广播过程呢17.了解网络吗?讲讲三次握手和四次握手区别。18.了解数据结构吗?讲讲0(nlog n)的不稳定排序算法Q1.求开方:给定排序算法。num=5.79，error=1e-8，求x使得abs(x^2-num)<error

面试部门：内容数据工程timeline：09.24投递，10.14笔试通知，10.21一面，次日挂，并取消10.25的笔试一面（35min）自我介绍实习内容介绍实习中最复杂的一项工作，主要内容是什么，从中有哪些收获主要用什么技术栈JVM的内存结构如何排查OOM问题内存泄漏在什么场景下会发生算法：最大子数组和