?

本文主要描述在网站的不同的并发访问量级下Mysql架构的演变

?

可扩展性

?

架构的可扩展性往往和并发是息息相关没有并发的增长也就没有必要做高可扩展性的架构这里对可扩展性进行简单介绍一下常用的扩展手段有以下两种

?

Scale-up : ?纵向扩展通过替换为更好的机器和资源来实现伸缩提升服务能力

?

Scale-out : 横向扩展, ?通过加节点机器来实现伸缩提升服务能力

?

对于互联网的高并发应用来说无疑Scale out才是出路通过纵向的买更高端的机器一直是我们所避讳的问题也不是长久之计在scale out的理论下可扩展性的理想状态是什么

?

可扩展性的理想状态

?

一个服务当面临更高的并发的时候能够通过简单增加机器来提升服务支撑的并发度且增加机器过程中对线上服务无影响(no down time)这就是可扩展性的理想状态

?

架构的演变

?

V1.0 ?简单网站架构

?

一个简单的小型网站或者应用背后的架构可以非常简单, ?数据存储只需要一个mysql instance就能满足数据读取和写入需求这里忽略掉了数据备份的实例处于这个时间段的网站一般会把所有的信息存到一个database instance里面。

在这样的架构下我们来看看数据存储的瓶颈是什么

?

1.数据量的总大小 ?一个机器放不下时

?

2.数据的索引B+ Tree一个机器的内存放不下时

?

3.访问量(读写混合)一个实例不能承受

?

只有当以上3件事情任何一件或多件满足时我们才需要考虑往下一级演变。 从此我们可以看出事实上对于很多小公司小应用这种架构已经足够满足他们的需求了初期数据量的准确评估是杜绝过度设计很重要的一环毕竟没有人愿意为不可能发生的事情而浪费自己的经历。

?

这里简单举个我的例子对于用户信息这类表 3个索引16G内存能放下大概2000W行数据的索引简单的读和写混合访问量3000/s左右没有问题你的应用场景是否

?

V2.0 垂直拆分

?

一般当V1.0 遇到瓶颈时首先最简便的拆分方法就是垂直拆分何谓垂直就是从业务角度来看将关联性不强的数据拆分到不同的instance上从而达到消除瓶颈的 目标。以图中的为例将用户信息数据和业务数据拆分到不同的三个实例上。对于重复读类型比较多的场景我们还可以加一层cache来减少对DB的压 力。

在这样的架构下我们来看看数据存储的瓶颈是什么

?

1.单实例单业务 依然存在V1.0所述瓶颈

?

遇到瓶颈时可以考虑往本文更高V版本升级, 若是读请求导致达到性能瓶颈可以考虑往V3.0升级 其他瓶颈考虑往V4.0升级

?

V3.0 ?主从架构

?

此类架构主要解决V2.0架构下的读问题通过给Instance挂数据实时备份的思路来迁移读取的压力在Mysql的场景下就是通过主从结构主库抗写压力通过从库来分担读压力对于写少读多的应用V3.0主从架构完全能够胜任

在这样的架构下我们来看看数据存储的瓶颈是什么

?

1.写入量主库不能承受

?

V4.0 ?水平拆分

?

对于V2.0 V3.0方案遇到瓶颈时都可以通过水平拆分来解决水平拆分和垂直拆分有较大区别垂直拆分拆完的结果在一个实例上是拥有全量数据的而水平拆分之 后任何实例都只有全量的1/n的数据以下图Userinfo的拆分为例将userinfo拆分为3个cluster每个cluster持有总量的 1/3数据3个cluster数据的总和等于一份完整数据注这里不再叫单个实例 而是叫一个cluster 代表包含主从的一个小mysql集群

?

数据如何路由

?

1.Range拆分

?

?sharding key按连续区间段路由一般用在有严格自增ID需求的场景上如Userid, Userid Range的小例子以userid 3000W 为Range进行拆分 ? 1号cluster ?userid 1-3000W ?2号cluster ?userid ? 3001W-6000W

?

2.List拆分

?

List拆分与Range拆分思路一样都是通过给不同的sharding key来路由到不同的cluster,但是具体方法有些不同,List主要用来做sharding key不是连续区间的序列落到一个cluster的情况如以下场景

?

假定有20个音像店分布在4个有经销权的地区如下表所示

地区

商店ID 号

北区

3, 5, 6, 9, 17

东区

1, 2, 10, 11, 19, 20

西区

4, 12, 13, 14, 18

中心区

7, 8, 15, 16

?

业务希望能够把一个地区的所有数据组织到一起来搜索这种场景List拆分可以轻松搞定

?

3.Hash拆分

?

通过对sharding key 进行哈希的方式来进行拆分常用的哈希方法有除余,字符串哈希等等除余如按userid%n 的值来决定数据读写哪个cluster其他哈希类算法这里就不细展开讲了。

?

数据拆分后引入的问题

?

数据水平拆分引入的问题主要是只能通过sharding key来读写操作例如以userid为sharding key的切分例子读userid的详细信息时一定需要先知道userid,这样才能推算出再哪个cluster进而进行查询假设我需要按 username进行检索用户信息需要引入额外的反向索引机制类似HBASE二级索引如在redis上存储 username->userid的映射以username查询的例子变成了先通过查询username->userid再通过 userid查询相应的信息。

?

实际上这个做法很简单但是我们不 要忽略了一个额外的隐患那就是数据不一致的隐患。存储在redis里的username->userid和存储在mysql里的 userid->username必须需要是一致的这个保证起来很多时候是一件比较困难的事情举个例子来说对于修改用户名这个场景你需要同 时修改redis和mysql,这两个东西是很难做到事务保证的,如mysql操作成功 但是redis却操作失败了分布式事务引入成本较高,对于互联网应用来说可用性是最重要的一致性是其次所以能够容忍小量的不一致出现. 毕竟从占比来说这类的不一致的比例可以微乎其微到忽略不计一般写更新也会采用mq来保证直到成功为止才停止重试操作

?

在这样的架构下我们来看看数据存储的瓶颈是什么

?

在 这个拆分理念上搭建起来的架构理论上不存在瓶颈sharding key能确保各cluster流量相对均衡的前提下),不过确有一件恶心的事情那就是cluster扩容的时候重做数据的成本如我原来有3个 cluster但是现在我的数据增长比较快我需要6个cluster那么我们需要将每个cluster 一拆为二一般的做法是

?

1.摘下一个slave,停同步,?

?

2.对写记录增量log实现上可以业务方对写操作 多一次写持久化mq ?或者mysql主创建trigger记录写 等等方式