面试官:你项目是如何实现读写分离的?

读写分离(Read-Write Splitting)是一种常见的数据库架构优化策略,通过将数据库的读操作(查询)和写操作(插入、更新、删除)分离到不同的数据库实例上,从而提高系统的性能、可扩展性和高可用性

alt

在项目中实现读写分离目前主流的实现技术是通过 Apache ShardingSphere 来实现数据库的读写分离的。

从 Apache ShardingSphere 官网也可以看出读写分离是其提供的主要功能之一:

alt

ShardingSphere 官网地址:https://shardingsphere.apache.org/document/current/cn/features/readwrite-splitting/

通过 ShardingSphere 可以轻松实现 MySQL 数据库的读写分离,以下是基于最新 ShardingSphere 5.x 版本的实现步骤和关键代码:

1.核心实现原理

ShardingSphere 通过 JDBC 驱动层透明代理实现读写分离,其核心逻辑为:

  1. SQL 路由:根据 SQL 类型(SELECT/WRITE)自动路由到主库或从库。
  2. 负载均衡:支持轮询、随机权重等算法分配读请求到多个从库。
  3. 主从同步:依赖 MySQL 原生主从复制机制保障数据一致性。

alt

2.具体实现步骤

步骤 1:搭建MySQL主从复制(前置条件)

-- 主库配置(my.cnf)
server-id=1
log-bin=mysql-bin
binlog-format=ROW

-- 从库配置(my.cnf)
server-id=2
relay-log=relay-bin
read-only=1

-- 主库创建复制账号
CREATE USER 'repl'@'%' IDENTIFIED BY 'P@ssw0rd';
GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%';
FLUSH PRIVILEGES;

-- 从库配置主库连接
CHANGE MASTER TO 
  MASTER_HOST='master_ip',
  MASTER_USER='repl',
  MASTER_PASSWORD='P@ssw0rd',
  MASTER_LOG_FILE='mysql-bin.000001',
  MASTER_LOG_POS=592;
START SLAVE;

步骤 2:SpringBoot项目集成ShardingSphere-JDBC

1.添加 Maven 依赖

在 pom.xml 中添加 ShardingSphere 和数据库连接池的依赖:

<dependency>
  <groupId>org.apache.shardingsphere</groupId>
  <artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId>
</dependency>
<dependency>
  <groupId>com.mysql</groupId>
  <artifactId>mysql-connector-j</artifactId>
</dependency>

2.配置 application.yml

在 application.yml 中配置数据源和读写分离规则:

spring:
  shardingsphere:
    datasource:
      names: master,slave0
      # 主库配置
      master:
        type: com.zaxxer.hikari.HikariDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        jdbc-url: jdbc:mysql://master_ip:3306/db?useSSL=false
        username: root
        password: Master@123
      # 从库配置  
      slave0:
        type: com.zaxxer.hikari.HikariDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        jdbc-url: jdbc:mysql://slave_ip:3306/db?useSSL=false
        username: root
        password: Slave@123
      # 从库2配置  
      slave1:
        type: com.zaxxer.hikari.HikariDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        jdbc-url: jdbc:mysql://slave_ip:3306/db?useSSL=false
        username: root
        password: Slave@123
    rules:
      readwrite-splitting:
        data-sources:
          readwrite_ds:
            type: Static
            props:
              write-data-source-name: master
              read-data-source-names: 
                - slave0
                - slave1
            load-balancer-name: round_robin
        load-balancers:
          round_robin:
            type: ROUND_ROBIN # 轮询
    props:
      sql-show: true  # 显示实际路由的SQL

配置说明

  • 数据源配置
    • master:主库数据源,用于写操作。
    • slave0 和 slave1:从库数据源,用于读操作。
  • 读写分离规则
    • write-data-source-name:指定写操作的数据源。
    • read-data-source-names:指定读操作的数据源列表。
    • load-balancer-name:指定读操作的负载均衡算法。
  • 负载均衡算法
    • ROUND_ROBIN:轮询算法,读请求会在 slave0 和 slave1 之间轮询。
    • 其他可选算法:RANDOM(随机)、WEIGHT(权重)等。

3.验证读写分离

1.写操作测试

public void createUser(User user) {
userMapper.insert(user); // INSERT 语句自动路由到master
}

2.读操作测试

public List<User> listUsers() {
    return userMapper.selectList(null); // SELECT 语句路由到slave0
}

3.查看执行日志

控制台会输出类似日志:

Actual SQL: master ::: INSERT INTO user (...)
Actual SQL: slave0 ::: SELECT * FROM user

3.高级配置(可选)

  1. 强制主库读通过 Hint 强制路由到主库:
HintManager.getInstance().setPrimaryRouteOnly();
  1. 故障转移配置心跳检测实现从库故障自动剔除:
spring:
  shardingsphere:
    rules:
      readwrite-splitting:
        data-sources:
          readwrite_ds:
            type: Dynamic
            props:
              auto-aware-data-source-name: readwrite_ds
              health-check-enabled: true
              health-check-max-retry-count: 3
              health-check-retry-interval: 5000

注意事项

主从延迟问题:异步复制场景下,刚写入的数据可能无法立即从从库读取,可通过 HintManager 强制读主库临时解决。

4.优缺点分析

  1. 优点分析
    1. 提升性能:写操作通常对性能要求较高,而读操作可以通过从库分担压力,避免主库因高并发查询而过载。从库可以进行水平扩展(增加更多从库实例),进一步提升系统的读取能力。
    2. 提高可用性:主库和从库可以部署在不同的服务器或机房,增加系统的容错性。即使某个从库出现故障,其他从库仍然可以继续提供读服务。
    3. 优化资源利用:主库可以专注于处理写操作,从库可以优化查询性能(如添加更多的索引、缓存等)。
  2. 缺点分析
    1. 数据一致性延迟:由于从库的数据是通过主库同步而来,可能存在一定的延迟(秒级或更长),导致读操作可能读取到旧数据。
    2. 复杂性增加:需要管理主从复制的配置和同步机制。需要处理主从切换、故障转移等复杂情况。
    3. 成本增加:需要额外的硬件资源来部署从库。需要额外的运维成本来维护主从架构。

5.应用场景

读写分离适用于以下场景:

  • 读操作远多于写操作系统:如电商系统、社交平台等,读操作远多于写操作。
  • 需要高可用性:通过主从架构提高系统的容错能力。

小结

读写分离是一种常见的数据库架构优化策略,通过将数据库的读操作和写操作分离,提高了系统的性能、可扩展性和高可用性。读写分离主流的实现技术是 Apache ShardingSphere,通过添加依赖,配置读写分离规则的方式就可以轻松的实现读写分离。

#八股文##java#
Java面试精讲 文章被收录于专栏

Java常见面试题、场景题、企业真题精讲。

全部评论

相关推荐

04-20 08:14
门头沟学院 Java
TEG一面2.261.&nbsp;JVM内存结构及其作用2.OOM在哪出现,怎么解决3.怎么判断要不要GC,哪些对象要被GC4.哪些对象可以作为GCroots5.redis性能为什么这么高6.&nbsp;redis持久化7.持久化怎么保证数据不丢失8.redis集群9.SpringBoot的结构10.项目11.延迟队列怎么实现,自己写一个怎么实现12.手撕:最长递增子序列TEG二面3.41.&nbsp;介绍项目2.&nbsp;你对微服务架构的理解是什么3.&nbsp;既然微服务是对一个单体项目的拆分,那直接把每一个接口拆成一个服务是不是更好4.&nbsp;说到远程调用比本地代码调用更消耗性能,那么把一组微服务部署在一起通过本地的远程调用,不涉及到不同实例上远程调用的网络开销,这样能不能解决这个问题5.&nbsp;一台服务器上不同的两个进程之间的网络调用,按照网络的七层结构来说,这个请求会不会走到网卡,然后通过收发包回到那个进程6.&nbsp;一个进程给另一个进程发请求,但是其实并不知道另一个进程是部署在本地还是在远端。那操作系统怎么知道这个请求什么时候走网卡发送,什么时候不走网卡7.&nbsp;如果redis性能不是问题,抗几十万几百万的并发都行,那么redis还有没有什么其他问题(提示热key问题)8.&nbsp;redis里存什么,数据库里存什么。如果redis里和数据库中存的是一样的,那么是不是就不需要数据库都行9.&nbsp;如果全部在redis中进行操作,那么数据不一致的时候redis挂了,那么不就出问题了吗&nbsp;10.&nbsp;进程、线程、协程11.&nbsp;进程的内存结构大概什么样的、低地址高地址是怎么分布的。12.&nbsp;进程通信的方式13.&nbsp;各种方式能适用于哪种场景14.&nbsp;假如说开了一块共享内存大概是3个g,有两个进程都把它挂上去了这个共享内存占不占用本机进程的内存空间(就是说假如本身有4g,那么挂上这块共享内存之后是不是本身进程就相当于到了7g,提示共享内存底层的实现机制)15.&nbsp;如果不使用框架,自己来实现一个服务器来接受请求,要做哪些事才行(想问sokect编程里的服务器端要能收客户端的请求要做哪些事)TEG三面3.51.&nbsp;高并发场景中用到了事务吗2.&nbsp;常见的事务有不同的模式组合,用于异构的分布式系统的数据一致性问题,有哪几种常见的模型(分布式事务的两阶段和三阶段)3.&nbsp;rabbitmq中怎么处理消息堆积问题4.&nbsp;redis中的热key和大key问题5.&nbsp;如果将热key拆分到不同redis实例中,那不同实例之间的数据同步怎么解决(怎么保证数据在多个实例中的一致性)6.&nbsp;如果只有1%的key是热key,其他的不是热key。热key的请求量是非热key的几十倍。那么用主从的方式怎么去平衡成本7.&nbsp;mysql是通过什么方式去解决主从同步的8.&nbsp;binlog日志像事务类的操作有回滚之类的各种情况,那么怎么解决同步的从节点也能够在一段时间内保持最终的一致性(事务的主从同步是怎么做的)9.&nbsp;假设数据库的主节点出了问题,那么怎么把流量迁移到从节点回答选举新的主节点,但是面试官说在做数据同步的时候,主节点挂了会导致数据丢失问题10.&nbsp;自己设计一个哈希表的类要怎么构建11.&nbsp;假设内存大小固定为1M,那么要怎么做。怎么在内存有限的情况下保证扩展性和安全性12.&nbsp;构造一个递归的使用场景,递归怎么转换为迭代13.&nbsp;将一个Java的源代码,编译成一个可执行的文件,整个编译过程是怎么做的14.&nbsp;接口和类的分别在哪些场景下使用15.&nbsp;用类的方式去实现一个单例,要怎么做16.&nbsp;观察者模式的应用场景TEG一面3.141.&nbsp;介绍项目2.&nbsp;Redisson分布式锁是怎么实现的,Rdisson具体的加锁过程有了解过吗3.在Redisson可重入的场景下,当前线程没有去解锁。然后这个线程复用了,那么会不会重复的获取到这个锁,或者说意外释放4.&nbsp;redis是单线程还是多线程5.&nbsp;说下Java集合的继承结构6.&nbsp;常用的集合有哪些,分别适用那种场景7.&nbsp;hashmap是线程安全的吗8.&nbsp;多线程环境下hashmap除了put时候的数据覆盖问题还有什么问题9.&nbsp;Java中停止一个线程的话一般怎么停止(怎么让一个线程挂掉或者说阻塞起来)10.&nbsp;如果一个线程一直在跑,想让它停止掉怎么处理(完全停止)11.&nbsp;锁升级的过程12.&nbsp;为什么这么设计13.&nbsp;MySQL中设计索引的话要考虑哪些问题、14.&nbsp;介绍一下布隆过滤器,以及其原理15.&nbsp;布隆过滤器有没有什么局限的地方16.&nbsp;Springboot的自动装配17.&nbsp;Spring中两个比较大的特性是什么18.&nbsp;AOP是怎么做到的19.&nbsp;IoC控制反转,反转的是什么东西20.&nbsp;Bean的生命周期21.&nbsp;JVM中的OOM大多可能发生在区域22.&nbsp;怎么避免出现OOM23.&nbsp;对象在堆区的晋升机制24.一般在做开发的时候对一些异常是怎么处理的25.&nbsp;什么情况下Bean对象会注入失败TEG二面忘了
点赞 评论 收藏
分享
评论
点赞
6
分享

创作者周榜

更多
牛客网
牛客企业服务