面试官:你用过什么窗口函数?

作为一个数据工作者,肯定不少被问窗口函数的问题,比如用过什么窗口函数,或者出个题,一般都是需要用到窗口函数才能完成。所以这一篇,专门讲窗口函数,不是做数据开发的也可以看看,当作学习也好,指不定哪天要实现这种逻辑。

什么是窗口函数

相信很多人都比较熟悉 SQL 聚合函数的语法,比如 count(), sum(), max()等,

窗口函数类似聚合函数,不同的是窗口函数不改变原有的行。

窗口函数是数据分析和数据开发必备的技能。

基本语法:

<窗口函数> over (partition by <用于分组的列名> order by <用于排序的列名>)

可能这样的解释还是不明了,没事,往后看,一会你就明白了。

案例

现在先模拟几条数据,假如目前有学生成绩表(stu_scores)如下:

class(班级) id(学号) score(成绩)
1 004 71
2 003 98
1 002 98
2 001 80
2 005 77
1 006 80

语句一:

select *,
    rank①() over②(partition by③ class order by④ score desc) ranking 
from stu_scores;

得到的结果如下:

class(班级) id(学号) score(成绩) ranking
1 002 98 1
1 006 80 2
1 004 71 3
2 003 98 1
2 001 80 2
2 005 77 3

接下来解释一下这段 SQL,这条 SQL 的目的是求每个班级内的成绩排名

① rank() 排序的函数

② over() 指定分析函数工作的数据窗口大小

③ partition by 指定分组字段,这个案例中用 class 作为分组字段, 类似 group by

④ order by 排序,对分组后的结果进行排序

可能有些朋友会问:“这不就是 group by 和 order by 的用法么?不用窗口函数也能实现,为啥要用它?”

这是因为,单纯使用 group by 分组汇总后改变了表的行数,一行只有一个类别;

而使用窗口函数则不改变行数,可以将详细信息也展示出来。

到这,应该大致明白窗口函数的使用场景及如何使用了吧。

为了让大家更好地理解窗口函数,再写几条语句,看看结果是否和你想的一致。

语句二:

select *,
   sum(score) over(order by id) as win_sum,
   count(score) over(order by id) as win_count,
   min(score) over(order by id) as win_min
from stu_scores;

结果:

class id score win_sum win_count win_min
2 001 80 80 1 80
1 002 98 178 2 80
2 003 98 276 3 80
1 004 71 347 4 71
2 005 77 424 5 71
1 006 80 504 6 71

这样的结果是否和你想的一样呢?

由于不加 partition by 因此没有分组,所以从第一行开始开窗做计算。

以 win_sum 为例,第一行成绩相加 80,与第二行相加得 178,再与第三行相加得 276,以此类推。

这样做有什么意义呢?

可以每一行的数据里直观的看到,截止到本行数据,统计数据是多少。

同时可以看出每一行数据,对整体统计数据的影响。

从成绩上可能不太好理解,如果是从生产经营角度,比如对比每月营业额,可以更直观地看出差距。

其它窗口函数及关键字

rank 与 dense_rank

rank(), dense_rank() 都属于排序函数,区别在于有重复数据的时候如何排,看案例就知道

select *,
    rank() over(order by score desc) as ranking,
    dense_rank() over(order by score desc) as dense_ranking
from stu_scores;

结果:

class id score ranking dense_ranking
1 002 98 1 1
2 003 98 1 1
2 001 80 3 2
1 006 80 4 3
1 004 71 5 4
2 005 77 6 5

可以看到,遇到重复排名的时候,rank 是跳跃排序,如果有两个第一,那接下来是第三;

dense_rank()则是连续排序,如果有两个第一时,那接下来是第二。

lead 与 lag

lead(col, n, default_val):用于统计窗口内往下第 n 行值。
第一个参数为列名,第二个参数为往下第 n 行(可选,默认为1),第三个参数为默认值(当往下第n行为NULL时候,取默认值,如不指定,则为NULL。

lag(col,n, default_val):用于统计窗口内往上第n行值,参数和 lead 一样

还是看案例吧,用文字讲确实很难讲清楚

问题:根据班级分组,统计每个班学生的成绩以及小于(大于)等于该学生成绩的上(下)一个学生的成绩:

select *,
    lead(score,1) over(partition by class order by score) as lead,
    lag(score,1) over(partition by class order by score) as lag
from stu_scores;

结果:

class id score lead lag
1 004 71 80 null
1 006 80 98 71
1 002 98 null 80
2 005 77 80 null
2 001 80 98 77
2 003 98 null 80

可以看到,第二行 lead 的结果是第三行的成绩,lag 的结果是第一行的成绩,没有的则为 null

last_value 与 first_value

这两个比较简单,顾名思义,分别表示取窗口内的最后一个值和第一条数据,但是先看看例子

select *,
    first_value(score) over(partition by class order by score) as first,
    last_value(score) over(partition by class order by score) as last
from stu_scores;

结果:

class id score first last
1 004 71 71 71
1 006 80 71 80
1 002 98 71 98
2 005 77 77 77
2 001 80 77 80
2 003 98 77 98

从结果看,first_value 的结果很合理,是每个分区的第一个数据;

但 last_value 的结果好像不符合期望,这个和我接下来要说的几个关键字有关。

UNBOUNDED、PRECEDING、FOLLOWING、CURRENT ROW

先粗略地解释一下这些关键字:

CURRENT ROW:当前行

n PRECEDING:往前 n 行数据

n FOLLOWING:往后 n 行数据

UNBOUNDED:起点

  • UNBOUNDED PRECEDING 表示从前面的起点,

  • UNBOUNDED FOLLOWING 表示到后面的终点

老规矩,先看例子

SELECT *,
  last_value(score) over(PARTITION BY class ORDER BY score) last1,
  last_value(score) over(PARTITION BY class ORDER BY score RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT row) last2,
  last_value(score) over(PARTITION BY class ORDER BY score RANGE BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED following) last3,
  last_value(score) over(PARTITION BY class ORDER BY score RANGE BETWEEN 3 PRECEDING AND 3 FOLLOWING) last4,
  last_value(score) over(PARTITION BY class ORDER BY score ROWS BETWEEN 1 PRECEDING AND 1 FOLLOWING) last5
FROM stu_scores;

结果:

class id score last1 last2 last3 last4 last5
1 004 71 71 71 98 71 80
1 006 80 80 80 98 80 98
1 002 98 98 98 98 98 98
2 005 77 77 77 98 80 80
2 001 80 80 80 98 80 98
2 003 98 98 98 98 98 98

用的都是 last_value 结果还不一样,为什么呢?

这是因为,last_value 默认的窗口是 RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW

表示当前行永远是最后一个值,因此 last1 和 last2 的结果是一样的。

如果要获取每个分组的最后一个值,

则需改成 RANGE BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING

表示从最前一行作为起点,最后一行为终点,就是 last3 的结果(由于两个分组排序后最后一个数都是 98,看不出区别,大家可以去验证一下)

至于 last4 和 last5 的区别,则是 RANGE 和 ROWS 的区别:

RANGE BETWEEN 3 PRECEDING AND 3 FOLLOWING:

表示当前行的值分别减 3 和 加 3,以第 4 行为例,原来的 score 是 77,各加减 3,则是 74 到 80 的范围

80 刚好是下一行的值,因此它的结果为 80,其它行由于加减 3 后没有对应的值,因此为自身。

ROWS BETWEEN 1 PRECEDING AND 1 FOLLOWING:

表示当前行分别往前往后减一行,记住,rows 和 range 的区别就在于是当前行数还是当前行的值。

因此在同一个分组内,第一行 last5 的值为下一行的值,第二行为下一行的值,以此类推,第二个分组也一样。

总结

到这,窗口函数的内容就基本上都讲完了。这些可以说是数据分析和数据开发必备的技能,因此必须要熟练。

至于如何才能熟练,还需要多实践。

码字不易,如果觉得不错,麻烦动动小手点个赞,谢谢!

持续关注不迷路,转载请注明出处!—— 大数据的奇妙冒险

#大数据开发##数据分析师##数据库相关面试常考题汇总#
大数据从入门到放弃 文章被收录于专栏

写点大数据相关的内容,一起交流进步

全部评论
mark
点赞 回复 分享
发布于 2023-10-24 15:21 河北
楼主说的很清楚,点赞
点赞 回复 分享
发布于 2022-11-14 09:06 广东
😃 1.窗口函数+聚合函数 sum()over([partition by] [order by ] [ rows between and]) 2.窗口函数+排序  rank(),dense_rank(),row_number()
点赞 回复 分享
发布于 2022-08-06 23:55
mark
点赞 回复 分享
发布于 2022-08-01 01:17
mark
点赞 回复 分享
发布于 2022-07-17 12:50
mark
点赞 回复 分享
发布于 2022-07-07 22:24
楼主厉害了,佩服
点赞 回复 分享
发布于 2022-06-26 17:54

相关推荐

上周组里招人,我面了六个候选人,回来跟同事吃饭的时候聊起一个让我挺感慨的现象。前三个候选人,算法题写得都不错。第一道二分查找,五分钟之内给出解法,边界条件也处理得干净。第二道动态规划,状态转移方程写对了,空间复杂度也优化了一版。我翻他们的简历,力扣刷题量都在300以上。后三个呢,就有点参差不齐了。有的边界条件没处理好,有的直接说这道题没刷过能不能换个思路讲讲。其中有一个女生,我印象特别深——她拿到题之后没有马上写,而是先问我:“面试官,我能先跟你确认一下我对题目的理解吗?”然后她把自己的思路讲了一遍,虽然最后代码写得不是最优解,但整个沟通过程非常顺畅。这个女生的代码不是最优的,但当我问她“如果这里是线上环境,你会怎么设计’的时候,她给我讲了一套完整的方案——异常怎么处理、日志怎么打、怎么平滑发布。她对这是之前在实习的时候踩过的坑。”我在想LeetCode到底在筛选什么?我自己的经历可能有点代表性。我当年校招的时候,也是刷了三百多道题才敢去面试。那时候大家都刷,你不刷就过不了笔试关。后来工作了,前三年基本没再打开过力扣。真正干活的时候,没人让你写反转链表,也没人让你手撕红黑树。更多的是:这个接口为什么慢了、那个服务为什么OOM了、线上数据对不上了得排查一下。所以后来我当面试官,慢慢调整了自己的评判标准。算法题我还会出,但目的变了。我出算法题,不是想看你能不能背出最优解。而是想看你拿到一个陌生问题的时候,是怎么思考的。你会先理清题意吗?你会主动问边界条件吗?你想不出来的时候会怎么办?你写出来的代码,变量命名乱不乱、结构清不清楚?这些才是工作中真正用得到的能力。LeetCode是一个工具,不是目的。它帮你熟悉数据结构和常见算法思路,这没问题。但如果你刷了三百道题,却说不清楚自己的项目解决了什么问题、遇到了什么困难、你是怎么解决的,那这三百道题可能真的白刷了。所以还要不要刷LeetCode?要刷,但别只刷题。刷题的时候,多问自己几个为什么:为什么用这个数据结构?为什么这个解法比那个好?如果换个条件,解法还成立吗?把刷题当成锻炼思维的方式,而不是背答案的任务。毕竟面试官想看到的,从来不是一台背题机器,而是一个能解决问题的人。
牛客51274894...:意思是光刷力扣还不够卷
AI时代还有必要刷lee...
点赞 评论 收藏
分享
投了十几个无人回应
花环鞣: 佬,我隔壁的
点赞 评论 收藏
分享
评论
72
235
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务