JD 数据开发 一面

1.WordCount 具体是怎么跑的?比如怎么分片、map 阶段做了啥、shuffle 是咋回事、reduce 最后怎么汇总的2.MapReduce和Spark 到底差在哪儿?适用场景这些都得对比着说3.Spark 提交任务时，Client模式和集群模式有啥不一样?比如 Driver 在哪跑、日志在陖瞎圈看、适合啥场景4.同一条 SQL，为啥 SparkSQL 跑起来比HiveSQL 快?得从执行引擎、优化器这些底层说说原因5.自定义 UDF 怎么实现?比如在 Hive 或Spark 里，具体步骤是啥，有没有踩过坑6.设计 HBase 表得注意啥?rowkey 怎么设计才合理、列族要不要分、版本数怎么设，这些睪腘狐旨を曽斷纰可能问到7.HBase 里的 HLog 是干嘛的?跟数据持久化、故障恢复有关系吗8.都是存在 HDFS 上的数据，为啥 HBase 能支持在线实时查询，Hive 就不行?底层存储结构不一样在哪9.用 SparkSQL 操作 Hive 数据时，有没有縈区堠浓ゴ壮攥到过兼容性问题?比如某些函数不支持、数据格式读不对之类的，怎么解决的10.Spark Streaming、Storm、Flink 这几个流处理框架，区别在哪?各自的优缺点和适用场景得搞明白场景题:11.数据量特别大，要用三个 Map 和一个Reduce 来做 Top10，哪种方法效率最高?得考虑怎么减少数据传输、避免倾斜

1、自我介绍2、讲一下快慢表平替、全量改增量怎么实现？3、举几个例子讲下质量体系监测4、简单说一下这个ODS到CDR层做了哪些工作吗？5、在工作中有做过数仓，讲下实际操作中CDR有哪些东西6、你是怎么对数据进行脱敏的？7、简单讲一下数仓的分层以及每一层的作用8、事实表和维度表的区别9、讲一下常用的开窗函数10、SQL题：订单id，用户id，订单时间，金额，求首单日和首单金额11、SQL题：员工id，部门id，员工薪水，求每个部门工资最高的三人12、简单讲下患者门诊的流程吗，从数据的流转角度来说就行13、门诊病例大宽表的粒度14、想要统计门诊处方开例数，怎么统计15、实习常统计的指标16、离职原因17、出差能接受吗18、能接受来北方吗

带教经验分享最近有些同学找了几个月工作，感觉比较焦虑，感觉秋招上不了岸了。说要准备春招了，好奇春招什么时候开启。那就给大家讲讲目前这个时间节点（11月份），到大家毕业企业都还在什么时候招人个人的观点一直就是只要还没找到心满意足的，坚持投，每天投，坚持学就可以了。只要投就会有机会。（中小公司才开始陆续招人了也）单纯针对中大厂来说，后面应该就剩下两个阶段了：秋招补录、春招比较集中的时间如下几个分析：（1）大厂开奖，有人毁约，空出来hc有面试。看大厂什么时候开奖，空出来hc，面试就有多了，补录阶段。重点关注各家公司开奖信息（2）等一月底、二月初这个时候也会没有面试，因为这个时候快过年了，各个公司都在...