MySQL分库分表原理(ShardingJDBC)

为什么要分库分表?

一般的机器,(4核16G),单库的MySQL并发(QPS+TPS)超过了2K,系统基本就完蛋了。。。最好是并发量控制在1k左右。这里就引出一个问题,为什么要分库分表?

分库分表目的:解决高并发,和数据量大的问题。
  1. 高并发情况下,会造成IO读写频繁,自然会造长城读写缓慢甚至宕机。一般单库不能超过2k并发。
  2. 数据量大的问题主要由于底层索引实现导致,MySQL的索引实现为B+TREE,数据量巨大,会导致索引树十分庞大,造成查询缓慢。第二,innodb的最大存储限制为64TB。

要解决上述的问题,最常见做法就是分库分表。分库分表的目的,是将一个表拆成N个表,就是让每个表的数据量控制在一定范围内保证sql性能。一个表数据建议不要超过500W。

分库分表的两种划分

又分为垂直拆)和水平拆分

  • 水平拆分:将一个表的数据拆到不同的库不同的表中。可以根据时间、地区、或某个业务键维度,也可以通过hash进行拆分,最后通过路由访问到具体的数据。拆分后的每个表结构保持一致。
  • 垂直拆分:一个有很多字段的表拆分成多个表,或者是多个库上去。每个库表的结构都不一样,每个库表都包含部分字段。一般来说,可以根据业务维度进行拆分,如订单表可以拆分为订单、订单支持、订单地址、订单商品、订单扩展等表;也可以,根据数据冷热成都划分,20%的热点字段拆到一个表,80%的冷字段拆到另外一个表。
    图片说明

小结:

垂直拆分:业务模块拆分、商品库,用户库,订单库

水平拆分:对表进行水平拆分(也就是我们说的:分表)

表进行垂直拆分:表的字段过多,字段使用的频率不一。(也可以拆分成两个表建立 1:1 关系 )

全部评论

相关推荐

老粉都知道小猪猪我很久没更新了,因为秋招非常非常不顺利,emo了三个月了,接下来说一下我的情况吧本人是双非本 专业是完全不着计算机边的非科班,比较有优势的是有两段大厂实习,美团和字节。秋招面了50+场泡池子泡死的:滴滴 快手 去哪儿 小鹏汽车 不知名的一两个小厂其中字节13场 两次3面挂 两次2面挂 一次一面挂其中有2场面试题没写出来,其他的都是全a,但该挂还是挂,第三次三面才面进去字节,秋招加暑期总共面了22次字节,在字节的面评可以出成书了快手面了8场,2次实习的,通过了但没去,一次2面挂 最后一次到录用评估 至今无消息滴滴三面完 没几天挂了 所有技术面找不出2个问题是我回答不上来的,三面还来说我去过字节,应该不会考虑滴滴吧,直接给我干傻了去哪儿一天速通 至今无消息小鹏汽车hr 至今无消息美团2面挂 然后不捞我了,三个志愿全部结束,估计被卡学历了虾皮二面挂 这个是我菜,面试官太牛逼了拼多多二面挂 3道题也全写了 也没问题是回答不出来的 泡一周后挂腾讯面了5次 一次2面挂 三次一面挂,我宣布腾讯是世界上最难进的互联网公司然后还有一些零零散散的中小厂,但是数量比较少,约面大多数都是大厂。整体的战况非常惨烈,面试机会少,就算面过了也需要和各路神仙横向对比,很多次我都是那个被比下去的人,不过这也正常,毕竟谁会放着一个985的硕士不招,反而去招一个双非读化学的小子感觉现在互联网对学历的要求越来越高了,不仅仅要985还要硕士了,双非几乎没啥生存空间了,我感觉未来几年双非想要进大厂开发的难度应该直线上升了,唯一的打法还是从大二刷实习,然后苟个转正,不然要是去秋招大概率是炮灰。而且就我面字节这么多次,已经开始问很多ai的东西了,你一破本科生要是没实习没科研懂什么ai啊,纯纯白给了
不知名牛友_:爸爸
秋招你被哪家公司挂了?
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务