使用数据库中间件MyCat+SpringBoot完成分库分表

背景

随着时间和业务的发展,数据库中的数据量增长是不可控的,库和表中的数据会越来越大,随之带来的是更高的磁盘、IO、系统开销,甚至性能上的瓶颈,而一台服务的资源终究是有限的,因此需要对数据库和表进行拆分,从而更好的提供数据服务。

当用户表达到千万级别,在做很多操作的时候都会很吃力,所以当数据增长到 1000 万以上就需要分库分表来缓解单库(表)的压力。

什么是分库分表

简单来说,就是指通过某种特定的条件,将我们存放在同一个数据库中的数据分散存放到多个数据库(主机)上面,以达到分散单台设备负载的效果。

数据的切分(Sharding)根据其切分规则的类型,可以分为两种切分模式。一种是按照不同的表(或者 Schema)来切分到不同的数据库(主机)之上,这种切可以称之为数据的垂直(纵向)切分;另外一种则是根据表中的数据的逻辑关系,将同一个表中的数据按照某种条件拆分到多台数据库(主机)上面,这种切分称之为数据的水平(横向)切分。

垂直切分的最大特点就是规则简单,实施也更为方便,尤其适合各业务之间的耦合度非常低,相互影响很小,业务逻辑非常清晰的系统。在这种系统中,可以很容易做到将不同业务模块所使用的表分拆到不同的数据库中。根据不同的表来进行拆分,对应用程序的影响也更小,拆分规则也会比较简单清晰。

水平切分于垂直切分相比,相对来说稍微复杂一些。因为要将同一个表中的不同数据拆分到不同的数据库中,对于应用程序来说,拆分规则本身就较根据表名来拆分更为复杂,后期的数据维护也会更为复杂一些。

垂直切分

多个数据库由很多表的构成,每个表对应着不同的业务,垂直切分是指按照业务将表进行分类,分布到不同的数据库上面,这样也就将数据或者说压力分担到不同的库上面。

但是往往系统之有些表难以做到完全的独立,存在跨库 join 的情况,对于这类的表,就需要去做平衡,是数据库让步业务,共用一个数据源,还是分成多个库,业务之间通过接口来做调用。在系统初期,数据量比较少,或者资源有限的情况下,会选择共用数据源,但是当数据发展到了一定的规模,负载很大的情况,就需要必须去做分割。

一般来讲业务存在复杂 join 的场景是难以切分的,往往业务独立的易于切分。如何切分,切分到何种程度是考验技术架构的一个难题。垂直切分的优缺点:

(1)优点

  • 拆分后业务清晰,拆分规则明确
  • 系统之间整合或扩展容易
  • 数据维护简单

(2)缺点

  • 部分业务表无法 join,只能通过接口方式解决,提高了系统复杂度
  • 受每种业务不同的限制存在单库性能瓶颈,不易数据扩展跟性能提高
  • 事务处理复杂

由于垂直切分是按照业务的分类将表分散到不同的库,所以有些业务表会过于庞大,存在单库读写与存储瓶颈,所以就需要水平拆分来做解决。

水平切分

相对于垂直拆分,水平拆分不是将表做分类,而是按照某个字段的某种规则来分散到多个库之中,每个表中包含一部分数据。简单来说,我们可以将数据的水平切分理解为是按照数据行的切分,就是将表中的某些行切分到一个数据库,而另外的某些行又切分到其他的数据库中。

拆分数据就需要定义分片规则。关系型数据库是行列的二维模型,拆分的第一原则是找到拆分维度。比如:

从会员的角度来分析,商户订单交易类系统中查询会员某天某月某个订单,那么就需要按照会员结合日期来拆分,不同的数据按照会员 ID 做分组,这样所有的数据查询 join 都会在单库内解决;如果从商户的角度来讲,要查询某个商家某天所有的订单数,就需要按照商户 ID 做拆分;但是如果系统既想按会员拆分,又想按商家数据,则会有一定的困难。如何找到合适的分片规则需要综合考虑衡。

切分原则都是根据业务找到适合的切分规则分散到不同的库,几种典型的分片规则包括:

  • 按照用户 ID 求模,将数据分散到不同的数据库,具有相同数据用户的数据都被分散到一个库中
  • 按照日期,将不同月甚至日的数据分散到不同的库中
  • 按照某个特定的字段求摸,或者根据特定范围段分散到不同的库中

既然数据做了拆分有优点也就优缺点:

(1)优点

  • 拆分规则抽象好,join 操作基本可以数据库做
  • 不存在单库大数据,高并发的性能瓶颈
  • 应用端改造较少
  • 提高了系统的稳定性跟负载能力

(2)缺点

  • 拆分规则难以抽象
  • 分片事务一致性难以解决
  • 数据多次扩展难度跟维护量极大
  • 跨库 join 性能较差

什么是MyCat

MyCat是一个开源的分布式数据库系统,是一个实现了 MySQL 协议的的 Server,前端用户可以把它看作是一个数据库代理,用 MySQL 客户端工具和命令行访问,而其后端可以用 MySQL 原生(Native)协议与多个 MySQL 服务器通信,也可以用 JDBC 协议与大多数主流数据库服务器通信,其核心功能是分表分库,即将一个大表水平分割为 N 个小表,存储在后端 MySQL 服务器里或者其他数据库里。

常见应用场景:

  • 单纯的读写分离,此时配置最为简单,支持读写分离,主从切换
  • 分表分库,对于超过 1000 万的表进行分片,最大支持 1000 亿的单表分片
  • 多租户应用,每个应用一个库,但应用程序只连接 Mycat,从而不改造程序本身,实现多租户化
  • 报表系统,借助于 MyCat 的分表能力,处理大规模报表的统计
  • 替代 Hbase,分析大数据

作为海量数据实时查询的一种简单有效方案,比如 100 亿条频繁查询的记录需要在 3 秒内查询出来结果,除了基于主键的查询,还可能存在范围查询或其他属性查询,此时 MyCat 可能是最简单有效的选择。

SpringBoot+MyCat+MySQL 实现分表分库案例

关于分库分表,MyCat 已经帮我们在内部实现了路由的功能,我们只需要在 MyCat 中配置一下切分规则即可,对于开发者来说,我们就可以把 MyCat 看做是一个数据库,接下来我们开始搭建环境:

(1)MyCat 是使用 Java 写的数据库中间件,所以要运行 MyCat 前要准备要 JDK 的环境,要求是 JDK1.7 以上的环境。所以需要在系统中配置 JAVA_HOME 的环境变量

(2)从官网下载 MyCat,http://dl.mycat.org.cn/ 我们是基于 CentOS 7 来搭建 Mycat 环境的,所以下载版本:Mycat-server-1.6.7.6-release-20201126013625-linux.tar.gz

(3)将下载好的安装包上传到服务器上并解压. 解压之后目录结构如下:

1
bin  catlet  conf  lib  logs  version.txt

(4)配置切分规则

将如下配置复制粘贴覆盖mycat/conf/schema.xml的内容

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
<!-- auto sharding by id (long) -->
<table name="item" dataNode="dn01,dn02" rule="rule1" />
</schema>

<!-- 设置dataNode 对应的数据库,及 MyCat 连接的地址dataHost -->
<dataNode name="dn01" dataHost="localhost1" database="db01" />
<dataNode name="dn02" dataHost="localhost1" database="db02" />

<!-- mycat 逻辑主机dataHost对应的物理主机,其中也设置对应的mysql登陆信息 -->
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1"
slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="hostM1" url="127.0.0.1:3306" user="root" password="root" ></writeHost>
</dataHost>
</mycat:schema>
  • <schema>: 表示的是在 MyCat 中的逻辑库配置,逻辑库名称为: TESTDB
  • <table>: 表示在 MyCat 中的逻辑表配置,逻辑表名称为: user,映射到两个数据库节点dataNode中,切分规则为: rule1(在 rule.xml 配置)
  • <dataNode>: 表示数据库节点,这个节点不一定是单节点,可以配置成读写分离
  • <dataHost>: 真实的数据库的地址配置
  • <heartbeat>: 用户心跳检测
  • <writeHost>: 写库的配置

将如下配置复制粘贴覆盖mycat/conf/rule.xml的内容

1
2
3
4
5
6
7
8
9
10
11
12
13
14
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://io.mycat/">
<tableRule name="rule1">
<rule>
<columns>id</columns>
<algorithm>mod-long</algorithm>
</rule>
</tableRule>
<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
<!-- how many data nodes -->
<property name="count">2</property>
</function>
</mycat:rule>

这里定义的是切分规则,是按照id列进行切分,切分规则是采取取模的方式

<property >2</property>: 这里配置了我们有拆分了多个库 (表),需要和前面配置<table />中的dataNode个数一致,否则会出错

(5)在数据库中创建两个数据库 db01,db02

每个库中执行如下建表语句:

1
2
3
4
5
6
DROP TABLE IF EXISTS `user`;
CREATE TABLE `user` (
`id` bigint(20) NOT NULL,
`name` varchar(255) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

(6)启动 MyCat,执行mycat/bin/startup_nowrap.sh

(7)搭建 Spring Boot 项目,执行插入语句

application.properties配置如下:

1
2
3
4
5
6
7
#配置数据源
spring.datasource.druid.driver-class-name=com.mysql.jdbc.Driver
#这里配置的是Mycat中server.xml中配置账号密码,不是数据库的密码。
spring.datasource.druid.username=root
spring.datasource.druid.password=123456
#mycat的逻辑库 端口也是mycat的
spring.datasource.druid.url=jdbc:mysql://192.168.12.12:8066/TESTDB

UserMapper.java代码如下:

1
2
3
4
5
6
7
8
@Mapper
public interface UserMapper {
@Insert("insert into user(id,name) value (#{id},#{name})")
int insert(User user);

@Select("select * from user")
List<User> selectAll();
}

UserController.java代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
@RestController
@RequestMapping("/user")
public class UserController {
@Autowired
private UserMapper userMapper;

@RequestMapping("/save")
public String save(User user){
userMapper.insert(user);
return "保存成功";
}

@RequestMapping("/list")
public List<User> list(){
return userMapper.selectAll();
}
}

(8)测试

在地址栏输入:

1
2
http://localhost:8080/user/save?id=1&name=joe
http://localhost:8080/user/save?id=2&name=tom

查看数据库发现:

  • id 为 1 的数据插入到数据库 db02 中的 user 表
  • id 为 2 的数据插入到数据库 db01 中的 user 表

在地址栏输入:http://localhost:8080/user/list

是可以看到刚刚插入的两条记录

Powered by AppBlog.CN     浙ICP备14037229号

Copyright © 2012 - 2021 APP开发技术博客 All Rights Reserved.

访客数 : | 访问量 :