数据分析 - 联蔚数科 - 面经（已OC）

1.一个服务宕住了你怎么分析排查2.讲讲java的线上分析工具和如何用3.java写代码怎么保证线程安全4.hbase的compact过程5.major compact很多影响write性能如何优化6.hbase的watch机制7.讲讲hive的工作架构8.原创算法题

1.数据表存储优化 背景 当前有这样一张网关日志表，30+字段，每天存储515tb，每小时全量5tb，要花费近600块/天，需要去进行存储优化，全量714亿。 思路 第一步评估影响 看看下游有谁在用（血缘），怎么用（下游脚本读了多少天的数据），有没有报表等服务在用，如果出了问题能不能复现回滚，业务方查询分区最多多少天，元数据表则从之前做好的dwd去取，如果没有则需要问平台侧要元数据信息自己加工。CREATE TABLE `xx`.`dwd_meta_table_detail_df`( `cata_log` string COMMENT '集群or数据源', `db_n...

人生互联网大厂处女面给了腾讯感谢腾讯捞我time line:4-18 投递 + 测评4-28 一面CSIG-数据工程1. 自我介绍2. 写一个函数，输入数组，返回一个元组，元组一个元素是数组的最大值，第二个元素是一个字典，存储数组的值以及出现次数。3. 两道SQL（一道非常简单，另外一道是用SQL写出接雨水{太变态了......}拼尽全力写出来）4. 围绕三道算法题问一些基础知识（元组，链表，数组区别和联系，SQL执行顺序，SQL窗口函数）5. Spark数据倾斜如何优化?6. Kafka topic,分区，消费者之间的关系反问1. 业务2. 部门及技术栈3. 什么时候可以收到反馈面试官很好，很真诚，写算法前会先确保你的理解是正确的，才让你开始写。面试时间一个小时，感觉不是KPI分享面筋许愿二面引流： 腾讯，大厂，阿里巴巴，春招，字节，京东，美团，蚂蚁#牛客创作赏金赛##数据人的面试交流地##腾讯#

25.4.7 90min 已挂自我介绍实习 / 项目异步架构如何实现介绍缓存空对象结合布隆过滤器的流程布隆过滤器误判怎么办为什么使用 snowflake 算法，相比 MySQL 自增主键呢如何通过 Set 实现共同关注为什么用 SortedSet 实现点赞排序如何通过 GEO 查询附近店铺通过 BitMap 实现签到时，用什么作为 key在查询执行模块中，如何完成...查询效率怎么样算法题主函数调用了三个耗时很长的函数（函数之间无依赖关系），如何减少主函数的执行时间二叉树的层序遍历八股MySQL 索引如何实现B+ 树的层高由什么决定联合索引什么时候失效查询语句执行得很慢，如何排查Java 中的...