首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
Inedible
门头沟学院 Java
发布于陕西
关注
已关注
取消关注
@每天两题神清气爽:
Redis 大 key 要如何处理?
面试官:Redis 大 key 要如何处理?一般来说,下面两种情况被称为大keyString类型的值大于10KBHash、List、Set、ZSet类型的元素个数超过5000个大Key会造成以下问题:客户端超时阻塞:由于Redis执行命令是单线程处理,然后在操作大key时会比较耗时,阻塞其他命令的执行引发网络阻塞:每次获取大key产生的网络流量较大,如果一个key的大小是1MB,每次访问量是1000,那么每秒会产生1000MB的流量,这对普通千兆网卡的服务器是灾难性的阻塞工作线程:如果使用del删除大key时,会阻塞工作线程,这样没法处理后续命令内存分布不均,集群模型在slot分片均匀情况下,会出现数据和查询倾斜情况,部分有大key的Redis节点占用内存多,QPS也会比较大。怎么找到大key呢?通过 redis-cli --bigkeys 命令查找大key:最好在从节点或者业务低峰阶段进行扫描查询,以免影响实例正常运行该方法也存在不足,只能返回每种类型中最大的那个Key,且对于集合类型来说只统计集合元素个数多少而非实际占用的内存。 redis-cli -h 127.0.0.1 -p6379 -a "password" -- bigkeys使用 scan 命令查找大Key使用scan命令对数据库扫描,然后用type命令获取返回的每一个key的类型。对于String类型,可以直接使用strlen命令获取字符串的长度,也就是占用的空间字节数对于集合类型来说,有两种方法可以获得它占用的内存大小:如果能够预先从业务层知道集合元素的平均大小,那么可以使用下面的命令获取集合元素的个数,然后乘以集合元素的平均大小,这样就可获得集合占用的内存大小了。List类型:`LLEN`;Hash 类型:`HLEN` ;Set 类型:`SCARD` ;Set 类型:`SCARD`。如果不能提前知道写入集合元素大小,可以使用 memory usage命令,查询一个键值对占用的内存空间。使用RdbTools工具查找大keyRdbTools第三方开源工具可以用来解析Redis的RDB文件,找到其中的大key。比如下面这条命令,将大于10Kb的Key输出到一个表格文件rdb dump.rdb -c memory --bytes 10240 -f redis.csv如何删除大Key呢?删除操作的本质是要释放键值对占用的内存空间。释放内存后为了更加高效的管理内存空间,操作系统需要把释放掉的内存块插入一个空闲内存块的链表,以便后续进行管理和再分配,这个过程本身需要一定时间,而且会阻塞当前释放内存的应用程序。所以如果一下子释放了大量内存,空闲地址块链表操作时间就会增加,相应的就会造成redis主线程的阻塞。主线程阻塞,其他所有请求都可能会超时,超时越来越多,会造成redis连接耗尽,产生各种异常。因此删除一个大key,要小心。分批次删除。对于删除大Hash,使用hscan命令,每次获取100个字段,再用hdel命令,每次删除1个字段。对于删除大List,通过ltrim命令,每次删除少量元素对于删除大 Set,使用 sscan 命令,每次扫描集合中 100 个元素,再用 srem 命令每次删除一个键。对于删除大 ZSet,使用 zremrangebyrank 命令,每次删除 top 100个元素。异步删除Redis4.0开始,可以采用异步删除法,用unlink命令代替del来删除。这样Redis会将这个key放入到一个异步线层中进程删除,不会阻塞主线程。
点赞 11
评论 4
全部评论
推荐
最新
楼层
暂无评论,快来抢首评~
相关推荐
01-21 10:15
杭州电子科技大学 大数据开发工程师
比起追逐风口,我更希望你懂“根基”:关于大数据开发的真实建议
听着窗外的风声,泡上一杯热茶,我们抛开那些焦虑的“35岁门槛”和“技术迭代恐慌”,像老朋友一样聊聊“大数据开发”这条路。作为一名在这个行业摸爬滚打过几年的“过来人”,我太理解那种站在庞大的技术栈面前,既兴奋又不知所措的感觉了。Hadoop、Spark、Flink、ClickHouse、Doris……这些名字像一座座大山,还没开始爬就让人觉得腿软。但其实,大数据开发的底色,不是“大”,而是“踏实”。它是关于如何稳稳当当地把海量的数据,变成能看懂的价值。如果你想在这个领域扎根,我想分享一些不仅关乎技术,更关乎心境的建议。一、 关于入门:别急着追逐“新潮”,先学会“慢”很多人刚入门时,恨不得一周学会...
为了入行xx岗,我学了_...
点赞
评论
收藏
分享
昨天 16:04
欣旺达_嵌入式软件工程师(准入职员工)
网易互娱内推,网易互娱内推码
网易**不管问你啥,记住一个话术原则小小的提醒下各位留子:**时不要直来直去有啥说啥;千万得多思考别说太满给自己留个思考或回旋的余地・1、被问 “有没有接触过网易的产品”(哪怕了解不多)别直接说 “没有”(容易显得缺乏兴趣)试试:“之前用过网易云音乐和网易新闻,对产品的界面设计和功能逻辑有过留意。虽然没有深入研究,但能感受到网易产品注重用户体验的特点,入职后会系统学习相关产品知识”・2、被问 “能接受高强度的项目加班吗”别勉强说 “没问题”(后续可能难以承受)试试:“我理解互联网行业项目推进时需要集中精力,在关键节点愿意配合团队加班。但也会注重提升工作效率,合理规划时间,尽量在正常工作时间完成...
点赞
评论
收藏
分享
01-25 17:12
已编辑
大连海事大学 Java
两三天也没有实习邮件发过来怎么办
第一次找实习,前面投了有100多份简历有四次面试,然后全挂了,背了背面试题就又投了一轮,然后东软说是面试过了但是等了两三天也没有收到邮件,这该怎么办
点赞
评论
收藏
分享
昨天 15:43
腾讯_HR(准入职员工)
腾讯内推,腾讯内推码
真实体验是有超好的导师制定成长计划,全程辅导,各种腾讯内部学习网站和资料,上下班班车接送,然后基本一月团建一次。工作压力中等,百分之70情况能6点多下班,其他情况一般在8点左右。早投递,早筛选,早拿offer.!!!敲重点 用我的内推码投递后一定要评论区留言mark一下,以后好找我查进度,我秋招就是随便填别人的内推码,后来查进度都不知道找谁。惨痛的经历。腾讯2027届可转正实习启动!无限复活甲,鹅厂不设限:1. 只要当前未在面试流程中,可随时切换岗位,投递无上限!2. 如3个工作日后意向部门未发起面试,全公司所有岗位/部门均可能向你发起面试,发起次数无上限!3. 同学可根据个人意愿拒绝面试,腾...
腾讯成长空间 6039人发布
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
牛客吐槽大会 | 有槽不吐,留着过年?吐完领现金红包,痛快!
2629
2
...
J人永远闲不下来于是去提前实习
2366
3
...
拥抱AI,程序员的最后出路
1696
4
...
mentor视角下的优秀实习生
1577
5
...
马斯克最新炸裂采访,AI会带走一半工作岗位,普通人将何去何从?
1546
6
...
大厂提前实习对AI开发的新感悟
1411
7
...
努力挣钱的意义具象化了
1371
8
...
真正会被取代的,是你心里面的幻觉
1360
9
...
去独角兽做龙头还是去大厂做凤尾
1231
10
...
我身材再曼妙,也没有我的工资好笑!
1154
创作者周榜
更多
正在热议
更多
#
牛客吐槽大会
#
1875次浏览
53人参与
#
机械人你知道哪些单休企业
#
82892次浏览
412人参与
#
今年春招是金一银二嘛?
#
6959次浏览
78人参与
#
没关系,至少我的__很曼妙
#
3438次浏览
62人参与
#
1月小结:你过的开心吗?
#
1585次浏览
50人参与
#
赚钱的意义在这一刻具象化
#
3635次浏览
90人参与
#
AI时代的工作 VS 传统时代的工作,有哪些不同?
#
7569次浏览
183人参与
#
抛开难度不谈,你最想去哪家公司?
#
3526次浏览
91人参与
#
为什么有人零实习也能进大厂?
#
4442次浏览
101人参与
#
你的landing期是如何度过的?
#
7775次浏览
144人参与
#
你的第一家实习公司是什么档次?
#
3755次浏览
66人参与
#
当你问AI“你会取代我的工作吗”,它说_?
#
3306次浏览
119人参与
#
参加完秋招的机械人,还参加春招吗?
#
103384次浏览
680人参与
#
机械人春招想让哪家公司来捞你?
#
379067次浏览
3138人参与
#
除了Java,最推荐学什么技术?
#
5239次浏览
135人参与
#
一人一道大厂面试题
#
114034次浏览
1263人参与
#
AI求职实录
#
2668次浏览
79人参与
#
你觉得什么岗位会被AI替代
#
36560次浏览
251人参与
#
在找工作求抱抱
#
1653727次浏览
10964人参与
#
哪些瞬间让你真切感受到了工作的乐趣
#
23189次浏览
100人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务