HotRing Java实现

HotRing是阿里2020年发表的一篇存储论文,估计很多人没听过,但是它很有意思,特别对于hash场景下的热点优化有很大的效果。简单来说,hotring就是在超高qps场景下如何快速访问热点数据。

https://github.com/azhsmesos/hotring

应该算是全网第一个Java实现版本,当然时间问题还在优化当中,但是可以先看看benchmark效果

工作负载 theta  = 2 幂律分布因子

数据量级 10 ^ 7 数据 工作负载及其不均衡 的数据集 key是key,value是key出现的查询次数

可以看到分布及其不均匀,完全就是热点key场景

测试指标:

  • findCnt 总的查找次数 反应完成任务的系统开销
  • maxFindCnt 单次最高查找次数  反应系统的尾延迟,越低越好
  • minFindCnt 最小查找次数 单次最优表现
  • averageFindCnt: 平均查找次数
  • Use Time:总耗时

theta

工具

性能参数

2

HashTable

2

KHotRingCache

2

HashMap

1

HashTable

1

KHotRingCache

1

HashMap

0

HashTable

0

KHotRingCache

0

HashMap

从上面看到,因为HotRing的热点偏移特性,其查找次数和平均查找次数远远低于hashTable(底层是拉链法实现)

和jdk官方hashmap比较,由于jdk官方hashmap我不方便统计其红黑树的访问次数,仅仅访问了其get(方法的次数),也基本和khotRingCache持平,如果将其红黑树内部的item元素的遍历访问次数加上,肯定比KHotRingCache要多,这也说明KHotRingCache在工作负载不均衡,也就是有热点数据区间时,其查找次数要低于没有热点检测的map结构。至于耗时问题,可能我的链表增删改查实现和jdk官方还有很大差距,所以导致耗时会比hashmap高上50%左右,当然当前我还没有用上优化,仅仅实现了论文的随机热点检测,后续会实现采样热点检测,对于官方的很多字节上的优化我也会参考,不过想要在耗时上面超过官方还是有很大挑战性(也就是说要达到生产环境级别)。

而分布很均匀的时候,可以发现其实HotRing和HashTable的执行次数区别不大,因此hotRing适合于在热点分布很高(幂律分布)下使用。

下篇文章在介绍其实现原理,和benchmark的过程,代码已经放到github,不过短期内会重新迭代,欢迎点个star

#晒一晒我的offer##我的求职思考##校招##秋招##实习#
技术面经+架构+八股 文章被收录于专栏

1. 关于当前公司所用技术架构(目前在某个短视频公司营销部门) 2. 关于个人之前接触的项目(存储、分布式、缓存) 3. 个人面经和之前的一块儿面试时的面经(核心部门 or ssp) 4. 个人简历模板 5. 手写的一些框架(时序数据库、编译器、hotring、亲缘性线程池等)

全部评论

相关推荐

昨天 09:55
已编辑
门头沟学院 Java
2.4 一面2.6 二面2.9 三面(hr面)2.13 oc1.15号收到面试电话那会就开始准备,因为一开始没底所以选择推迟一段时间面试,之后开始准备八股,准备实习可能会问的东西,这期间hot100过了有六七遍,真的是做吐了快,八股也是背了忘,忘了背,面经也看了很多,虽然最后用上的只有几道题,可是谁知道会问什么呢自从大二上开始学java以来,一开始做外卖,点评,学微服务,大二下五六月时,开始投简历,哎,投了一千份了无音讯,开始怀疑自己(虽然能力确实很一般),后来去到一家小小厂,但是并不能学到什么东西,而且很多东西都很不规范,没待多久便离开,大二暑假基本上摆烂很怀疑自己,大三上因为某些原因开始继续学,期间也受到一俩个中小厂的offer,不过学校不知道为啥又不允许中小厂实习只允许大厂加上待遇不太好所以也没去,感觉自己后端能力很一般,于是便打算转战测开,学习了一些比较简单的测试理论(没有很深入的学),然后十二月又开始继续投,java和测开都投,不过好像并没有几个面试,有点打击不过并没有放弃心里还是想争一口气,一月初因为学校事比较多加上考试便有几天没有继续投,10号放假后便继续,想着放假应该很多人辞职可能机会大一点,直到接到字节的面试,心里挺激动的,总算有大厂面试了,虽然很开心,但同时压力也很大,心里真的很想很想很想进,一面前几天晚上都睡不好觉,基本上都是二三点睡六七点醒了,一面三十几分钟结束,问的都不太难,而且面试官人挺好但是有些问题问的很刁钻问到了测试的一些思想并不是理论,我不太了解这方面,但是也会给我讲一讲他的理解,但是面完很伤心觉得自己要挂了。但是幸运的是一面过了(感谢面试官),两天后二面,问的同样不算难,手撕也比较简单,但也有一两个没答出来,面试官人很好并没有追问,因为是周五进行的二面,没有立即出结果,等到周一才通知到过了,很煎熬的两天,根本睡不好,好在下周一终于通知二面过了(感谢面试官),然后约第二天三面,听别的字节同学说hr面基本上是谈薪资了,但是我的并不是,hr还问了业务相关的问题,不过问的比较浅,hr还问我好像比较紧张,而且hr明确说了还要比较一下,我说我有几家的面试都拒了就在等字节的面试,三面完后就开始等结果,这几天干啥都没什么劲,等的好煎熬,终于13号下午接到了电话通知oc了,正式邮件也同时发了,接到以后真的不敢信,很激动但更重要的是可以松一口气了,可以安心的休息一下了终于可以带着个好消息过年了,找实习也可以稍微告一段落了,虽然本人很菜,但是感谢字节收留,成为忠诚的节孝子了因为问的比较简单,面经就挑几个记得的写一下一面:1.实习项目的难点说一下2.实习中用到了哪些测试方法3.针对抖音评论设计一下测试用例4.手撕:合并两个有序数组二面:1.为什么转测开2.线程进程区别,什么场景适合用哪个3.发送一个朋友圈,从发出到别人看到,从数据流转的角度说一下会经历哪些过程4.针对抖音刷到广告视频设计测试用例5.手撕:无重复字符的最长字串
牛客85811352...:测开问这么简单?
查看8道真题和解析
点赞 评论 收藏
分享
评论
2
7
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务