看大数据大佬手把手带你实现基于Zookeeper、Redis的分布式锁

在分布式系统中,分布式锁是为了解决多实例之间的同步问题。例如master选举,能够获取分布式锁的就是master,获取失败的就是slave。又或者能够获取锁的实例能够完成特定的操作。

目前比较常用的分布式锁实现有两种,基于zookeeper实现和基于redis实现。zookeeper和redis也是生产环境中经常用到的第三方组件。下面我会分析它们的实现原理。

分布式锁实现要求

实现一个分布式锁至少要满足下面三点要求:

  1. 互斥,在任何时候同一个锁只能由一个客户端持有。
  2. 不会死锁,就算持有的客户端异常崩溃也不会影响后续客户端加锁。
  3. 谁加锁谁解锁,加锁和解锁都必须是同一个客户端。

zookeeper分布式锁

在讲解zookeeper的分布式锁之前有两个概念需要明确:

  1. 临时节点:生命周期和链接周期一致。例如客户端链接A创建了临时节点NodeA,如果链接A关闭或者网络异常断开,那么NodeA也会跟着消失。
  2. 顺序节点:节点名称按照顺序从小到大创建,例如先创建了000000001,那么接着创建的节点就会分配000000002。

zookeeper的分布式锁实现原理就是利用临时顺序节点,大概流程为:

  • 每个客户端对某个功能加锁时,在zookeeper指定目录下生成一个唯一的临时顺序节点。
  • 所有临时节点中序号最小的节点即为当前锁的持有者。
  • 释放锁时将自己持有的临时节点删除即可。

例如,对于加锁过程,所有的客户端都在/lock目录下面创建临时节点,如果发现自己创建的临时节点是/lock目录中最小的节点,那么就获取锁成功,否则就watch比自己小的节点中的最大节点。

监控比自己小的节点中的最大节点是为了避免“惊群”效应,避免一个锁释放把所有等待的客户端唤醒,但是只有一个客户端能获取锁。

对于释放锁,只需要把自己创建的临时顺序节点删除即可。整个过程流程图如下:


优点:锁安全性高,zookeeper数据不易丢失。用户使用简单。

缺点:性能消耗比较高。因为需要动态产生和删除临时节点,当集群负载比较高时临时节点消失会有时间差(一般在一分钟范围内)。

redis分布式锁

redis的分布式锁实现比zookeeper分布式锁实现复杂,也分为redis单实例和多实例(master-master)实现方式。

需要特别指出的是redis如果是master-slave这种结构部署时,获取和释放锁都只能向master请求,和单实例的实现原理基本一样,否则主从切换时会出现多人拿到同一把锁的情况。

例如:

  1. 客户端A在master拿到了锁。
  2. master节点在把A创建的key写入slave之前宕机了。(主从同步是异步操作)
  3. slave变成了master节点。
  4. B也得到了和A还持有的相同的锁,因为slave还没有A持有锁的信息。

redis单实例实现方案

通过下面命令获得锁:

SET resource_name my_random_value NX PX 30000

这个命令的作用是只有这个key不存在时才会设置这个key的值(NX的作用,即not exist),超时时间设置为30000毫秒(PX的作用),这个key的值设置为my_random_value。这个值必须在所有获取锁请求的客户端里面保持唯一。

key值的超时时间,也叫做“锁有效时间”。这是锁的自动释放时间。

这套实现方案在非分布式的、单点的、保证永不宕机的环境是适用的。

redis集群实现方案(Redlock算法)

在分布式版本的算法里我们假设有N个redis master节点,这些节点完全独立,不用任何的复制或者分布式协调算法来同步数据。

这里假设N=5,一个客户端获取锁的过程如下:

  • 获取当前以毫秒为单位的时间。
  • 轮询用相同的key在N个节点上面请求锁。(每个请求的超时时间设置的短一些,为了一个master节点不用时,快速请求下一个master)。
  • 如果在超过一半master节点上面成功获取锁(这里是3个),客户端计算第二步请求锁花费的时间,如果小于锁释放时间,则认为获取锁成功。
  • 如果锁获取成功了,那么现在 锁自动释放时间=最初锁释放时间-请求锁花费的时间
  • 如果获取锁失败了(成功的锁不超过master数量的一般 或者 请求耗时>锁释放时间),那么客户端都会在每个master节点上面释放锁。

获取锁成功的节点数需要超过master节点数量的一半才认为是获取锁成功的思路应该是借鉴了zookeeper的paxos算法。

还有一个需要指出的点是,当一个客户端获取失败时应该随时延时后再进行重试,避免多个客户端同时重试又同时失败。

优点:性能高

缺点:单实例会有单点问题,多实例主从切换会导致数据丢失,master-master集群模式实现复杂。

看大佬给你讲解基于Zookeeper、Redis的分布式锁

全部评论

相关推荐

上周组里招人,我面了六个候选人,回来跟同事吃饭的时候聊起一个让我挺感慨的现象。前三个候选人,算法题写得都不错。第一道二分查找,五分钟之内给出解法,边界条件也处理得干净。第二道动态规划,状态转移方程写对了,空间复杂度也优化了一版。我翻他们的简历,力扣刷题量都在300以上。后三个呢,就有点参差不齐了。有的边界条件没处理好,有的直接说这道题没刷过能不能换个思路讲讲。其中有一个女生,我印象特别深——她拿到题之后没有马上写,而是先问我:“面试官,我能先跟你确认一下我对题目的理解吗?”然后她把自己的思路讲了一遍,虽然最后代码写得不是最优解,但整个沟通过程非常顺畅。这个女生的代码不是最优的,但当我问她“如果这里是线上环境,你会怎么设计’的时候,她给我讲了一套完整的方案——异常怎么处理、日志怎么打、怎么平滑发布。她对这是之前在实习的时候踩过的坑。”我在想LeetCode到底在筛选什么?我自己的经历可能有点代表性。我当年校招的时候,也是刷了三百多道题才敢去面试。那时候大家都刷,你不刷就过不了笔试关。后来工作了,前三年基本没再打开过力扣。真正干活的时候,没人让你写反转链表,也没人让你手撕红黑树。更多的是:这个接口为什么慢了、那个服务为什么OOM了、线上数据对不上了得排查一下。所以后来我当面试官,慢慢调整了自己的评判标准。算法题我还会出,但目的变了。我出算法题,不是想看你能不能背出最优解。而是想看你拿到一个陌生问题的时候,是怎么思考的。你会先理清题意吗?你会主动问边界条件吗?你想不出来的时候会怎么办?你写出来的代码,变量命名乱不乱、结构清不清楚?这些才是工作中真正用得到的能力。LeetCode是一个工具,不是目的。它帮你熟悉数据结构和常见算法思路,这没问题。但如果你刷了三百道题,却说不清楚自己的项目解决了什么问题、遇到了什么困难、你是怎么解决的,那这三百道题可能真的白刷了。所以还要不要刷LeetCode?要刷,但别只刷题。刷题的时候,多问自己几个为什么:为什么用这个数据结构?为什么这个解法比那个好?如果换个条件,解法还成立吗?把刷题当成锻炼思维的方式,而不是背答案的任务。毕竟面试官想看到的,从来不是一台背题机器,而是一个能解决问题的人。
国企上岸了的向宇同桌...:最害怕答非所问了,但是频繁反问确定意思又害怕面试官觉得我笨
AI时代还有必要刷lee...
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务