10.16字节数据开发一面

1.挑一个项目介绍2.了解实习经历3.针对实习项目，问数据层次怎么分层4.数据分层的作用5.针对具体实习项目，说明业务逻辑6.说明实习项目的“订单量"这个指标从源头到产出的 ETL过程7.针对实习项目，复盘后最大的难点是什么8.复盘之后有什么收获9.你刚才说复盘收获是处理小文件，那么spark怎么处理小文件的?10.处理小文件有哪些方法，举例子11.hive冷热分离的方法12.你刚才提到了组里有做ec存储，你了解ec存储吗13.暑期实习有什么感受，转正了吗14.了解spark的semi join吗，他是干嘛的15.了解spark的AQE，这是什么16.你刚才讲AQE提到了广播机制，这个在spark中很重要，讲讲广播过程呢17.了解网络吗?讲讲三次握手和四次握手区别。18.了解数据结构吗?讲讲0(nlog n)的不稳定排序算法Q1.求开方:给定排序算法。num=5.79，error=1e-8，求x使得abs(x^2-num)

大学时光如果能重来，我会这样做：每天6小时准备考研、6小时准备考公，剩余12小时用于休息、玩耍和应付学业。什么啥比互联网，狗都不去的地方。这时候肯定有人跳出来狗叫，说什么“车门焊死”、“分蛋糕”云云，对此我只想说：大傻春，你和别人不一样，对别人我都是劝退互联网的，对你我只能说赶紧来吧！为什么劝退互联网？因为互联网远远没有大家想象中的那么美好，甚至没有大家想象的能攒那么多钱，大学生过于神话互联网了！为此我不得不出来给大家打个清醒剂。举个大家都能理解的例子：各个大厂都在搞AI,每个大厂的每个部门也都在拼命往AI上靠，目的是啥？提效吗？提效了吗？我只能说如提！真正原因有2个：1.大领导喜欢AI这个小...

1.列举几种数据倾斜的情况，并解释为什么会倾場咏，以及如何解决?2.解释一下 SQL 运行步骤，是否有优化空间如果有，如何优化:SELECT a.id,b.nameFROM a LEFT OUTER JOIN bON a.id =b.idWHERE a.dt='2016-01-01'AND b.dt='2016-01-01';3.已知表 a 是一张内部表，如何将它转换成外部表?请写出相应的 Hive 语句4.用 select 做查询时，用哪个函数给值为null的数据设置默认值?5.Hive 中，建的表为压缩表，但是输入文件为非压缩格式，会产生怎样的现象或者结果?6.订单详情表 ord_det(order_id 订单号，sku_id 商品编号，sale_qtty 销售数量，dt 日期分区)，任务计算2016年1月1 日商品销量的 Top100，并按销量降序排序7.某日志的格式如下:pin|-lrequest_tm|-url|-|sku_id|-|amount，分隔符为"-'，数据样例为:张三-|q2013-11-2311:59:30-www.jd.com-100023-110.15。假设本地数据文件为 sample.txt,先将其导入到 hive的test 库的表t_sample 中，并计算每个用户的总消费金额写出详细过程包括表结构8.test.log 日志中内容如下左列所示，使用awk 输出右列 4行数据:左列:10-3-jd-dv、2-4-jd-dv、5-7-pv-click、36-24-pv-uv、37-24-pv-uV、24-3-uv-mq右列:10-4-jd-dv、5-7-pv-click、37-24-pv-uv、24-3-uv-mq9.Storm 的分组策略有哪些?

个人bg：双非本，cpp，江浙二三线城市人offer1：华子 终端bg 操作系统base：杭州薪资：13a n*15优点：杭州有人才补贴，离家近，相对贴合cpp缺点：薪资不算高offer2：字节 抖电客户端base：北京薪资：未开，看os白菜(n+6)*(14-16)和房补优点：title，钱多，抖电听说挺核心缺点：北京，客户端，工作强度PS：本人比较想早赚够个100w回家找小厂躺平，不知是否是个好主意？如果春招还想找中大厂后端，是否不太好签华子（听说毁约影响较大）？