钉钉秋招数开一面

1.自我介绍2.介绍一下spark的内存模型?3.动态内存管理中存储内存和执行内存的区别?4.对堆外内存有了解吗?5.有了解过oom的几种类型吗?6.治理过数据吗?举个具体的优化案例?7.除了提高shuffle并发，还有什么方法能优化?8.平时在公司平台上使用的大数据组件有哪些?9.spark是完全基于内存吗?10.spark的几种join有了解吗?介绍一下?11.sort join和hash join的shuffle区别?12除了join，还有哪些操作会引起shuffle?13.spark shuffle过程中有sort和没有sort的区别?14.熟悉非等值连接吗?15.sql题:求次日、三日、七日留存率。16.如果是日增量的分区表数据量很大，如何进一步处理?16.需要用distinct吗?代码能否优化?17.反问环节。

九月初面的，二进宫，这次顺利通过一面。自我介绍实习系统采用异步架构，如何保证数据的实时性流量暴增导致消息堆积，如何保证数据的实时性日志是用来做什么的项目黑马点评共同关注是如何用 Redis 实现的；Redis Set 求交集的命令，复杂度；关注用户比较多时，如何优化性能点赞排序是如何做的统计签到天数是如何做的为什么用 HyperLogLog 做 UV 统计，而不是 Set讲一下秒杀中使用的 Lua 脚本的逻辑数据库和缓存的一致性是如何保证的；先改数据库，再删缓存有什么问题吗；可能出现缓存击穿，如何处理为什么要做库存预占为什么不用 MySQL 做模糊查询说一下数据同步的链路；既然是异步的，如何避...

项目拷打 1.请详细说明你当前所在公司日常进行数据统计时，主要采用哪些方式?这些方式分别适用于什么场景?例如针对实时数据统计、离线批量数据统计等不同需求，会选择不同的工具或方法吗?2.结合你参与过的具体项目，谈谈你是如何分析项目的业务数据结构的?请说明该数据结构包含哪些核心字段、表与表之间的关联关系，以及你是如何基于业务逻辑梳理清楚这些结构的?3.请问你有相关的数据处理或分析类实习经历吗?另外，你是否接触过非底层(如偏向业务应用层、基于现有平台进行数据处理而非搭建底层架构)的项目?如果有，请简要介绍项目背景和你的职责。4.Spark了解吗?5.从代码到输出结果，Spark引擎做了什么sql题目：表1:用户信息表(含id:用户唯一标识date:用户行为日期，is_new:是否为新用户标识，1表示新用户，0表示老用户)表2:红包领取记录表(含id:用户唯一标识，date:领取日期，time:领取时间，money:题目1:请编写SQL语句，计算"未领取红包的用户在未领取次日、未领取后7日的留存情况"(注:需先明确“未领取红包用户"的定义，即在指定时间范围内有行为记录(表1有数据)但表2无对应领取记录的用户，再计算该类用户在未领取红包日期的次日、第7日是否仍有行为记录(表1有数据)的留存率)。题目2:请编写SQL语句，完成以下两个指标的计算:(1)每日DAU(日活跃用户数):指每日有行为记录(表1中当日有数据)的独立用户数;(2)最近1个月内，3天连续登录的用户占比:即最近 30天内，至少有一次连续3天每日均有行为记录(表1中有对应日期数据)的用户数，占该月内总活跃用户数(表1中该月有至少一天数据的用户数)的比例。反问

1.今天主要就是面试字节，感觉回答还行，就是面试官有点压力，没事老打断我回答，突然问你一下别的，手撕刚开始做出来了，他又让别的做法，没做上来估计字节又是二面凉凉了2.泰隆银行又来发笔试了，不想做，拉倒吧