字节集团信息数据开发一面0922
70分钟
1.自我介绍
2.业务复盘和收获
3.spark的reduce阶段
4.核心表和拓展表的建设
5.模型的健康度
6.数据治理
7.应用层直接引用ods层会有什么问题？怎么解决？
8.对于spark的参数调优
9.对于数据倾斜，spark自身的优化有哪些
10.提到的AQE会对占比70%这种的极端数据倾斜做哪些处理
11.这个过程叫什么join
20分钟手撕
会话日志表（未按时间戳排序），两个字段：user_id，create_ts（时间戳），时间戳间隔小于30秒的为有效会话，超过30秒会认为是无效会话，如果是单个记录会认为是1秒的会话。请输出表，记录有效会话信息，user_id，keep_ts（会话时长），start_ts（开始时间），end_ts（结束时间）。
例子：
user_id，create_ts
1，1000
1，1010
1，1003
1，1070
2，1000
2，1005
输出：
user_id，keep_ts（会话时长），start_ts（开始时间），end_ts（结束时间）。
1，10，1000，1010
1，1，1070，1070
2，5，1000，1005
查看7道真题和解析