大纲1.热key引发的巨大风险2.以往热key问题怎么解决3.热key进内存后的优势4.热key探测关键指标5.热key探测框架JdHotkey的简介6.热key探测框架JdHotkey的组成7.热key探测框架JdHotkey的工作流程8.热key探测框架JdHotkey的性能表现9.关于热key探测框架JdHotkey的一些问题10.JdHotkey的安装部署与使用1.热key引发的巨大风险(1)数据层的风险(2)服务层的风险在拥有大量并发用户的系统中，热key一直以来都是一个不可避免的问题。某商品突然成爆款、海量用户突然涌入某店铺、秒杀瞬间的大量爬虫请求，这些突发的无法预知的热key都是...

大纲1.数据库与缓存一致性方案2.热key探测系统处理热key问题3.缓存大value监控和切分处理方案4.Redis内存不足强制回收监控告警方案5.Redis集群缓存雪崩自动探测 + 限流降级方案6.缓存击穿的解决方法线上Redis比较严重的问题排序是：数据库和缓存一致性、热key、大value、缓存雪崩限流降级、内存不足强制回收1.数据库与缓存一致性方案(1)数据库与缓存同步双写强一致性方案(2)数据库与缓存异步同步最终一致性方案现有的业务场景下，都会涉及到数据库以及缓存双写的问题。⽆论是先删缓存再更新数据，或先更新数据再删缓存，都⽆法保证⼀致性。本身它们就不是⼀个数据源，⽆法通过代码上的...

大纲1.库存模块设计2.库存缓存分片和渐进式同步方案3.基于缓存分片的下单库存扣减方案4.商品库存设置流程与异步落库的实现6.库存入库时"缓存分片写入 + 渐进式写入 + 写入失败进行MQ补偿"的实现7.库存扣减时"基于库存分片依次扣减 + 合并扣减 + 扣不了返还 + 异步落库"的实现1.库存模块设计(1)社区电商系统库存模块的设计要求(2)社区电商系统库存模块功能分析(3)商品系统处理库存出⼊库时影响库存数据的设计(4)订单系统扣减和返还库存时影响库存数据的设计(5)查看商品SKU库存的设计(1)社区电商系统库存模块的设计要求由于该库存模块可以支持高...

大纲1.社区电商购物车的读多写多场景分析2.购物车的复杂缓存与异步落库(Sorted Set + Hash -> hPut + zadd)3.购物车异步落库与完整加入流程(缓存雪崩 + MQ异步出现问题)4.购物车的阈值检查与重复加入逻辑(hGet + hLen + hFieldExists)5.购物车加入商品多线程并发问题解决(分布式锁保证请求幂等)6.购物车的查询、更新功能(zrevrange +hGetAll + zremove+ hDel)7.购物车的选中提交功能8.简单总结1.社区电商购物车的读多写多场景分析(1)对用户数据和分享贴列表数据的处理(2)对购物车数据的处理(1)对...

大纲1.基于数据库 + 缓存双写的分享贴功能2.查询分享贴列表缓存时的延迟构建3.分页列表惰性缓存方案如何节约内存4.用户分享贴列表数据按页缓存实现精准过期控制5.用户分享贴列表的分页缓存的异步更新6.数据库与缓存的分页数据一致性方案7.热门用户分享贴列表的分页缓存失效时消除并发线程串行等待锁的影响8.总结1.基于数据库 + 缓存双写的分享贴功能 @Transactional(rollbackFor = Exception.class) @Override //新增或修改分享贴 public SaveOrUpdateCookbookDTO saveOrUpdateCookbook(SaveOr...

大纲1.社区电商的业务闭环2.Redis缓存架构的典型生产问题3.用户数据在读多写少场景下的缓存设计4.热门用户数据的缓存自动延期机制5.缓存惊群与穿透问题的解决方案6.缓存和数据库双写不一致问题分析7.基于分布式锁保证缓存和数据库双写一致性8.缓存和数据库双写在分布式锁高并发下的优化9.利用分布式锁自动超时消除串行等待锁的影响10.写少读多的企业级缓存架构设计总结1.社区电商的业务闭环接下来介绍的社区电商是以Redis作为主体技术、以MySQL和RocketMQ作为辅助技术实现的。(1)社区电商运作模式社区电商的关键点在于社区，而电商则是辅助性质(次要地位，流量变现)。社区可以分成很多种社区...

大纲1.导致Redis阻塞的内在原因2.导致Redis阻塞的外在原因3.Redis的性能总结4.Redis缓存的相关问题5.数据库和缓存的一致性问题6.数据库和缓存的一致性情况列举1.导致Redis阻塞的内在原因(1)API或数据结构不合理(2)持久化阻塞(1)API或数据结构不合理比如对一个包含上万个元素的Hash结构执行hgetall操作，由于数据量大且复杂度为O(N)，所以速度会很慢。对于高并发场景，应该尽量避免在大对象上执行算法复杂度超O(N)的命令。比如hset命令复杂度只有O(1)，正常耗时应该在10微秒以下。为了追求低内存，过度放宽压缩列表(O(N)~O(N^2))的使用条件，会...

大纲1.Redis服务器的Socket网络连接建立2.Redis多路复用监听与文件事件模型3.基于队列串行化的文件事件处理机制4.完整的Redis Server网络通信流程5.Redis串行化单线程模型为什么能高并发6.Redis内核级请求处理流程与原理7.Redis通信协议与内核级请求数据结构8.Redis Server的初始化与持久化9.Redis分布式集群10.Redis集群模式的数据结构分析11.Redis节点之间的三次握手原理分析12.基于slots槽位机制的数据分片原理分析13.Redis集群slots分配与内核数据结构14.基于slots槽位的命令执行流程分析15.基于跳跃表的s...

大纲1.Redis使用sync命令实现的复制功能2.Redis使用psync命令实现的复制功能3.Redis主从服务器之间的心跳检测4.从服务器如何实现复制主服务器的(复制的实现)5.Redis的复制拓扑介绍6.Redis主从复制数据延迟的处理7.Redis主从复制的问题8.Redis Sentinel和高可用9.Redis如何保存更多的数据10.一个普通Redis服务器的初始化过程11.一个Sentinel服务器的初始化过程12.Sentinel如何向主从服务器获取信息和发送信息13.Sentinel如何检测主客观下线并实现故障转移14.Sentinel配置优化和部署技巧15.Sentine...

大纲1.Redis数据库的结构2.读写Redis数据库键值时的处理3.Redis数据库的构成4.Redis过期键的删除策略5.Redis的RDB持久化6.Redis的AOF持久化7.Redis的AOF重写机制8.Redis持久化是影响其性能的高发地9.Redis基于子进程实现持久化的使用建议10.Redis持久化的阻塞场景11.Redis服务器的文件事件12.Redis服务器的文件事件处理器13.Redis对文件事件的处理流程14.Redis对时间事件的处理逻辑15.客户端状态结构和服务器状态结构16.Redis服务器对命令请求的处理1.Redis数据库的结构Redis服务器的所有数据库都保存...

大纲1.Redis的数据结构2.Redis的SDS3.Redis的链表4.Redis的字典5.Redis的跳跃表6.Redis的整数集合7.Redis的压缩列表8.Redis的对象9.Redis对象的几个关键属性10.Redis的单线程为什么这么快11.Redis的典型应用场景和说明12.Redis的相关命令说明1.Redis的数据结构数据结构有：简单动态字符串SDS、链表、字典、跳跃表、整数集合、压缩列表。2.Redis的SDS(1)SDS的应用(2)SDS的结构(3)SDS的优点(4)什么是空间预分配(5)什么是惰性空间释放(6)SDS是二进制安全的(1)SDS的应用SDS除了用来保存Re...

大纲1.数据库设计2.枚举类3.接⼝设计4.定时任务设计(1)定时核对校验数据的定时任务(2)数据量统计定时任务(3)增量数据落地定时任务(4)失败重试定时任务5.技术亮点(1)滚动拉取方案(2)巧妙的统计滚动进度方案(3)防止增量同步数据丢失和高效写入方案(4)数据扩容方案6.全量同步和增量同步整体流程图7.功能升级(1)数据迁移系统数据源动态化配置(2)迁移数据库操作对应的xml动态⽣成(3)扩容迁移数据时的问题1.数据库设计(1)订单表——order_info create table order_info ( id bigint(32) auto_increment, order_no...

大纲18.基于Canal和RocketMQ的增量同步19.增量同步任务的背景介绍20.增量同步任务查询与线程池提交21.RocketMQ里的binlog消息的消费逻辑分析22.新增binlog的数据同步逻辑分析23.binlog基于内存队列的异步转发逻辑24.基于CAS加锁的读写队列互换机制25.binlog基于内存的merge合并逻辑26.对merge数据从目标库里分批查询27.对merge数据基于目标库数据做过滤28.将过滤后的merge数据写入目标库29.offset提交线程的启动和逻辑分析30.增量同步过程中binlog写入失败的恢复31.增量同步过程中的各种失败场景的恢复机制32.定...

大纲1.分库分表在企业生产环境中面临的难题2.从单库单表到多库多表的生产上线流程3.上亿数据从单表复制到64张表的场景4.单库单表到多库多表的全量复制方案5.全量数据复制方案的中断恢复分析6.数据迁移系统的工程结构和数据源配置7.基于订单号和用户ID的分片路由算法8.发起全量数据迁移任务的实现9.处理全量数据迁移任务时的内存级表锁的实现10.最小订单号的查询实现11.全量数据迁移任务的进度组件的初始化12.每一批数据的滚动查询、范围过滤、模型转换、去重校验以及批量写入13.多数据源的工程代码实现14.多批次滚动迁移的代码逻辑实现15.手动触发和自动触发被中断的全量数据迁移任务16.按天粒度的订...