首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
牛客623686697号
湖南城市学院 测试开发
发布于广东
关注
已关注
取消关注
@冰忆往昔:
经典面试题之MVCC多版本并发控制
什么是MVCC? 1、MVCC MVCC,全称Multi-Version Concurrency Control,即多版本并发控制。MVCC是一种并发控制的方法,一般在数据库管理系统中,实现对数据库的并发访问,在编程语言中实现事务内存。 MVCC在MySQL InnoDB中的实现主要是为了提高数据库并发性能,用更好的方式去处理读写冲突,做到即使有读写冲突时,也能做到不加锁,非阻塞并发读。 2、当前读 像select lock in share mode(共享锁), select for update ; update, insert ,delete(排他锁)这些操作都是一种当前读,为什么叫当前读?就是它读取的是记录的最新版本,读取时还要保证其他并发事务不能修改当前记录,会对读取的记录进行加锁。 3、快照读(提高数据库的并发查询能力) 像不加锁的select操作就是快照读,即不加锁的非阻塞读;快照读的前提是隔离级别不是串行级别,串行级别下的快照读会退化成当前读;之所以出现快照读的情况,是基于提高并发性能的考虑,快照读的实现是基于多版本并发控制,即MVCC,可以认为MVCC是行锁的一个变种,但它在很多情况下,避免了加锁操作,降低了开销;既然是基于多版本,即快照读可能读到的并不一定是数据的最新版本,而有可能是之前的历史版本 4、当前读、快照读、MVCC关系 MVCC多版本并发控制指的是维持一个数据的多个版本,使得读写操作没有冲突,快照读是MySQL为实现MVCC的一个非阻塞读功能。MVCC模块在MySQL中的具体实现是由三个隐式字段,undo日志、read view三个组件来实现的。 MVCC解决的问题是什么? 数据库并发场景有三种,分别为: 1、读读:不存在任何问题,也不需要并发控制 2、读写:有线程安全问题,可能会造成事务隔离性问题,可能遇到脏读、幻读、不可重复读 3、写写:有线程安全问题,可能存在更新丢失问题 MVCC是一种用来解决读写冲突的无锁并发控制,也就是为事务分配单项增长的时间戳,为每个修改保存一个版本,版本与事务时间戳关联,读操作只读该事务开始前的数据库的快照,所以MVCC可以为数据库解决一下问题: 1、在并发读写数据库时,可以做到在读操作时不用阻塞写操作,写操作也不用阻塞读操作,提高了数据库并发读写的性能 2、解决脏读、幻读、不可重复读等事务隔离问题,但是不能解决更新丢失问题 MVCC实现原理是什么? mvcc的实现原理主要依赖于记录中的三个隐藏字段,undolog,read view来实现的。 隐藏字段 每行记录除了我们自定义的字段外,还有数据库隐式定义的DB_TRX_ID,DB_ROLL_PTR,DB_ROW_ID等字段 DB_TRX_ID 6字节,最近修改事务id,记录创建这条记录或者最后一次修改该记录的事务id DB_ROLL_PTR 7字节,回滚指针,指向这条记录的上一个版本,用于配合undolog,指向上一个旧版本 DB_ROW_JD 6字节,隐藏的主键,如果数据表没有主键,那么innodb会自动生成一个6字节的row_id 记录如图所示: 在上图中,DB_ROW_ID是数据库默认为该行记录生成的唯一隐式主键,DB_TRX_ID是当前操作该记录的事务ID,DB_ROLL_PTR是一个回滚指针,用于配合undo日志,指向上一个旧版本 undo log undolog被称之为回滚日志,表示在进行insert,delete,update操作的时候产生的方便回滚的日志 当进行insert操作的时候,产生的undolog只在事务回滚的时候需要,并且在事务提交之后可以被立刻丢弃 当进行update和delete操作的时候,产生的undolog不仅仅在事务回滚的时候需要,在快照读的时候也需要,所以不能随便删除,只有在快照读或事务回滚不涉及该日志时,对应的日志才会被purge线程统一清除(当数据发生更新和删除操作的时候都只是设置一下老记录的deleted_bit,并不是真正的将过时的记录删除,因为为了节省磁盘空间,innodb有专门的purge线程来清除deleted_bit为true的记录,如果某个记录的deleted_id为true,并且DB_TRX_ID相对于purge线程的read view 可见,那么这条记录一定时可以被清除的) 下面我们来看一下undolog生成的记录链 1、假设有一个事务编号为1的事务向表中插入一条记录,那么此时行数据的状态为: 2、假设有第二个事务编号为2对该记录的name做出修改,改为lisi 在事务2修改该行记录数据时,数据库会对该行加排他锁 然后把该行数据拷贝到undolog中,作为 旧记录,即在undolog中有当前行的拷贝副本 拷贝完毕后,修改该行name为lisi,并且修改隐藏字段的事务id为当前事务2的id,回滚指针指向拷贝到undolog的副本记录中 事务提交后,释放锁 3、假设有第三个事务编号为3对该记录的age做了修改,改为32 在事务3修改该行数据的时,数据库会对该行加排他锁 然后把该行数据拷贝到undolog中,作为旧纪录,发现该行记录已经有undolog了,那么最新的旧数据作为链表的表头,插在该行记录的undolog最前面 修改该行age为32岁,并且修改隐藏字段的事务id为当前事务3的id,回滚指针指向刚刚拷贝的undolog的副本记录 事务提交,释放锁 从上述的一系列图中,大家可以发现,不同事务或者相同事务的对同一记录的修改,会导致该记录的undolog生成一条记录版本线性表,即链表,undolog的链首就是最新的旧记录,链尾就是最早的旧记录。 Read View 上面的流程如果看明白了,那么大家需要再深入理解下read view的概念了。 Read View是事务进行快照读操作的时候生产的读视图,在该事务执行快照读的那一刻,会生成一个数据系统当前的快照,记录并维护系统当前活跃事务的id,事务的id值是递增的。 其实Read View的最大作用是用来做可见性判断的,也就是说当某个事务在执行快照读的时候,对该记录创建一个Read View的视图,把它当作条件去判断当前事务能够看到哪个版本的数据,有可能读取到的是最新的数据,也有可能读取的是当前行记录的undolog中某个版本的数据 Read View遵循的可见性算法主要是将要被修改的数据的最新记录中的DB_TRX_ID(当前事务id)取出来,与系统当前其他活跃事务的id去对比,如果DB_TRX_ID跟Read View的属性做了比较,不符合可见性,那么就通过DB_ROLL_PTR回滚指针去取出undolog中的DB_TRX_ID做比较,即遍历链表中的DB_TRX_ID,直到找到满足条件的DB_TRX_ID,这个DB_TRX_ID所在的旧记录就是当前事务能看到的最新老版本数据。 Read View的可见性规则如下所示: 首先要知道Read View中的三个全局属性: trx_list:一个数值列表,用来维护Read View生成时刻系统正活跃的事务ID(1,2,3) up_limit_id:记录trx_list列表中事务ID最小的ID(1) low_limit_id:Read View生成时刻系统尚未分配的下一个事务ID,(4) 具体的比较规则如下: 1、首先比较DB_TRX_ID < up_limit_id,如果小于,则当前事务能看到DB_TRX_ID所在的记录,如果大于等于进入下一个判断 2、接下来判断DB_TRX_ID >= low_limit_id,如果大于等于则代表DB_TRX_ID所在的记录在Read View生成后才出现的,那么对于当前事务肯定不可见,如果小于,则进入下一步判断 3、判断DB_TRX_ID是否在活跃事务中,如果在,则代表在Read View生成时刻,这个事务还是活跃状态,还没有commit,修改的数据,当前事务也是看不到,如果不在,则说明这个事务在Read View生成之前就已经开始commit,那么修改的结果是能够看见的。 7、MVCC的整体处理流程 假设有四个事务同时在执行,如下图所示: 事务1 事务2 事务3 事务4 事务开始 事务开始 事务开始 事务开始 ...... ...... ...... 修改且已提交 进行中 快照读 进行中 ...... ...... ...... 从上述表格中,我们可以看到,当事务2对某行数据执行了快照读,数据库为该行数据生成一个Read View视图,可以看到事务1和事务3还在活跃状态,事务4在事务2快照读的前一刻提交了更新,所以,在Read View中记录了系统当前活跃事务1,3,维护在一个列表中。同时可以看到up_limit_id的值为1,而low_limit_id为5,如下图所示: 在上述的例子中,只有事务4修改过该行记录,并在事务2进行快照读前,就提交了事务,所以该行当前数据的undolog如下所示: 当事务2在快照读该行记录的是,会拿着该行记录的DB_TRX_ID去跟up_limit_id,lower_limit_id和活跃事务列表进行比较,判读事务2能看到该行记录的版本是哪个。 具体流程如下:先拿该行记录的事务ID(4)去跟Read View中的up_limit_id相比较,判断是否小于,通过对比发现不小于,所以不符合条件,继续判断4是否大于等于low_limit_id,通过比较发现也不大于,所以不符合条件,判断事务4是否处理trx_list列表中,发现不再次列表中,那么符合可见性条件,所以事务4修改后提交的最新结果对事务2 的快照是可见的,因此,事务2读取到的最新数据记录是事务4所提交的版本,而事务4提交的版本也是全局角度的最新版本。如下图所示: 当上述的内容都看明白了的话,那么大家就应该能够搞清楚这几个核心概念之间的关系了,下面我们讲一个不同的隔离级别下的快照读的不同。 8、RC、RR级别下的InnoDB快照读有什么不同 因为Read View生成时机的不同,从而造成RC、RR级别下快照读的结果的不同 1、在RR级别下的某个事务的对某条记录的第一次快照读会创建一个快照即Read View,将当前系统活跃的其他事务记录起来,此后在调用快照读的时候,还是使用的是同一个Read View,所以只要当前事务在其他事务提交更新之前使用过快照读,那么之后的快照读使用的都是同一个Read View,所以对之后的修改不可见 2、在RR级别下,快照读生成Read View时,Read View会记录此时所有其他活动和事务的快照,这些事务的修改对于当前事务都是不可见的,而早于Read View创建的事务所做的修改均是可见 3、在RC级别下,事务中,每次快照读都会新生成一个快照和Read View,这就是我们在RC级别下的事务中可以看到别的事务提交的更新的原因。 总结:在RC隔离级别下,是每个快照读都会生成并获取最新的Read View,而在RR隔离级别下,则是同一个事务中的第一个快照读才会创建Read View,之后的快照读获取的都是同一个Read View.
点赞 6
评论 1
全部评论
推荐
最新
楼层
暂无评论,快来抢首评~
相关推荐
昨天 15:43
顺丰集团_HR(准入职员工)
顺丰内推,顺丰内推码
1月还有很多HC!!!!java笔试题目:用 Python 实现一个函数,用于计算斐波那契数列的第 n 项。以下 Java 代码片段是否存在问题?如果有,请指出并改正。简述 C++ 中指针和引用的区别。实现一个二叉树的中序遍历算法,可使用递归或非递归方式。对于一个无序整数数组,使用快速排序算法对其进行排序,并分析该算法的时间复杂度和空间复杂度。设计一个算法,判断一个字符串是否为回文串,要求时间复杂度尽可能低。简述 TCP 三次握手和四次挥手的过程,并说明为什么连接建立是三次握手,而连接释放是四次挥手。一台主机的 IP 地址为 192.168.1.100,子网掩码为 255.255.255.0,...
点赞
评论
收藏
分享
01-26 10:29
上海智元新创技术有限公司_产品经理(准入职员工)
智元机器人内推,智元机器人内推码
来到智元快一个月了,更新一下实习体验 1.地理位置:智元上海总部在康桥,离上海迪士尼很近,但是属于郊区,到外滩坐地铁要一个小时 2.周围物价:公司楼下的商务区饭菜是上海水准,平均一餐25左右,牛肉面28。但是!距离500m左右的秀沿路上有大大小小几十家餐馆,木桶饭,张亮麻辣烫,灌汤包,麦当劳,塔斯丁,鸡公煲,烧烤店,好吃的不要太多!而且物价很便宜,和重庆类似,平均一餐15—20,团购的至尊烤鸡才19元,赚麻了 3.租房:(更新)康桥区的租房真的有点乱,我被骗了2000,当时是贝壳上找到的房源,到了现场说他是房东,拿出了他自己搞的虚假合同,里面有2000的一年的物业费,可以退,我微信转账给了他。...
三奇智元机器人科技有限公司公司福利 88人发布
点赞
评论
收藏
分享
01-20 10:05
河北科技学院 Java
泪目了坚持不懈这一块
如果是开发岗也这样对我就好了😂
累死的一条狗:
稀有人才啊你简历写了啥他这么锲而不舍的问你
点赞
评论
收藏
分享
01-17 13:17
大连民族大学 前端工程师
27 届前端简历求锐评
想在 3 月开学前找到实习…第一个项目有点忘记了 这正常吗 ,现在八股和 hot100 还没开始背🥲 哎 哪位大哥可以给我一点建议吗
点赞
评论
收藏
分享
01-23 13:04
科大讯飞_语言算法工程师(准入职员工)
禾赛科技内推,禾赛科技内推码
禾赛科技软件测试面经全程一个小时左右,需要写SQL和代码- 自我介绍- 项目提问- 项目里面的好友列表咋做数据库设计的- TCP四次挥手- python基本数据结构- 列表和数组的区别- 写SQL(用到分组、排序、聚合函数)- 写代码(输入一个数,各个位上两两交换位置,输出最大的数)全球激光雷达Top禾赛科技26届校招【企业介绍】全球领先的激光雷达研发与制造企业,全球激光雷达市占率No.1,美国纳斯达克上市。【开放岗位】商务类、产品类、项目管理类、销售类、系统类、芯片类、光学类、机械类、电子类、软件类、算法类、测试类、制造类【面向人群】毕业时间:2024.7-2025.12【工作地点】上海、杭...
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
牛客吐槽大会 | 有槽不吐,留着过年?吐完领现金红包,痛快!
3483
2
...
J人永远闲不下来于是去提前实习
2483
3
...
拥抱AI,程序员的最后出路
1781
4
...
大厂提前实习对AI开发的新感悟
1655
5
...
真正会被取代的,是你心里面的幻觉
1567
6
...
mentor视角下的优秀实习生
1502
7
...
努力挣钱的意义具象化了
1396
8
...
去独角兽做龙头还是去大厂做凤尾
1310
9
...
马斯克最新炸裂采访,AI会带走一半工作岗位,普通人将何去何从?
1187
10
...
我身材再曼妙,也没有我的工资好笑!
1142
创作者周榜
更多
正在热议
更多
#
今年春招是金一银二嘛?
#
6325次浏览
70人参与
#
机械人你知道哪些单休企业
#
82801次浏览
409人参与
#
1月小结:你过的开心吗?
#
1417次浏览
46人参与
#
没关系,至少我的__很曼妙
#
3237次浏览
61人参与
#
赚钱的意义在这一刻具象化
#
3481次浏览
87人参与
#
AI时代的工作 VS 传统时代的工作,有哪些不同?
#
7097次浏览
161人参与
#
抛开难度不谈,你最想去哪家公司?
#
3090次浏览
78人参与
#
你的第一家实习公司是什么档次?
#
3470次浏览
59人参与
#
你的landing期是如何度过的?
#
7348次浏览
136人参与
#
为什么有人零实习也能进大厂?
#
3894次浏览
88人参与
#
参加完秋招的机械人,还参加春招吗?
#
103253次浏览
676人参与
#
一人一道大厂面试题
#
114008次浏览
1263人参与
#
当你问AI“你会取代我的工作吗”,它说_?
#
2968次浏览
93人参与
#
除了Java,最推荐学什么技术?
#
4890次浏览
129人参与
#
AI求职实录
#
2447次浏览
68人参与
#
机械人春招想让哪家公司来捞你?
#
378974次浏览
3136人参与
#
你觉得什么岗位会被AI替代
#
36469次浏览
250人参与
#
牛客吐槽大会
#
1093次浏览
38人参与
#
在找工作求抱抱
#
1653567次浏览
10964人参与
#
哪些瞬间让你真切感受到了工作的乐趣
#
23172次浏览
99人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务