需求背景

来自京东外卖-数据研发二面

已知一张京东外卖骑手收入表 dws_jd_emp_salary_1d，存放各地区各骑手当日的外卖收入情况，计算各地区骑手当日收入前三的名单

SQL代码如下：

select 
  area_id,
  emp_id,
  salary
from 
(  
  select 
    area_id,
    emp_id,
    salary,
    row_number() over(partition by area_id order by salary desc) rk
  from dws_jd_emp_salary_1d
  where dt = '20250523'
) t
where rk <= 3

面试官继续问：真实场景中，这个代码运行的非常慢，如何优化？

问题分析

回答：如果真实场景运行的非常慢，那么我认为可能是由两种原因导致的

• 第一、员工收入表数据量非常大
• 第二、ROW_NUMBER按照area_id分组时发生了数据倾斜

综合来看，第一种原因的可能性并不是很大，外卖业务是一个新业务，同时数据源是一张天级别汇总表，数据量不会太大，那么我接下来主要说一下第二种情况如何解决

解决方案

-- 1、将同一个区域的员工分散到10个桶中分别进行排序，并且获取对应的前三名
with t1 as (
  select 
    area_id,
    emp_id,
    salary
  from 
  (  
    select 
      area_id,
      emp_id,
      salary,
      row_number() over(partition by area_id, round(rand()*10）order by salary desc) rk
    from dws_jd_emp_salary_1d
    where dt = '20250523'
  ) t
  where rk <= 3
)
-- 2、对同一个区域的员工再次进行排序，然后获取前三名即为所求
select 
  area_id,
  emp_id,
  salary
from 
(  
  select 
    area_id,
    emp_id,
    salary,
    row_number() over(partition by area_id order by salary desc) rk
  from t1
) t
where rk <= 3

思考：为什么这样就可以提升代码运行效率？