MariaDB Spider：实现MySQL横纵向扩展的小能手

《MariaDB Spider：实现MySQL横纵向扩展的小能手》要点：
本文介绍了MariaDB Spider：实现MySQL横纵向扩展的小能手，希望对您有用。如果有疑问，可以联系我们。

作者介绍

贺春旸,普惠金融MySQL专家,《MySQL管理之道》第一版、第二版作者.曾任职于中国移动飞信、机锋安卓市场,拥有丰富的数据库管理经验.目前致力于MySQL、Linux等开源技术的研究.

什么是Spider?

当您的数据库不断增长时,您绝对需要考虑其它技术,如数据库分片.Spider是MariaDB内置的一个可插拔用于MariaDB/MySQL数据库分片的存储引擎,充当应用服务器和远程后端DB之间的代理(中间件),它可以轻松实现MySQL的横向和纵向扩展,突破单台MySQL的限制,支持范围分区、列表分区、哈希分区,支持XA分布式事务,支持跨库join.通过Spider,您可以跨多个数据库后端有效访问数据,让您的应用程序一行代码不改,即可轻松实现分库分表!

分库分表架构：

应用程序连接Spider,Spider充当中间件代理,将客户端查询的请求,按照事先定义好的分片规则,分发给后端数据库,之后返回的数据汇总在Spider内存里做聚合,最终返回客户端请求,对于应用程序而言是透明的.

典型案例—腾讯游戏

腾讯游戏的生产环境数据量达到了100TB,用了396个Spider节点做数据拆分,分片后的数据用了2800个MySQL节点存储.

使用场景介绍

下面介绍一下我负责的一个项目,已通过Spider实现了历史表的垂直拆分.

随着业务的增长,单台服务器磁盘空间有限,有些业务上的历史数据,DBA用工具pt-archiver归档后,历史表就没有用了,通常我们会把它单独迁移到备份机,主库上就删除了.但有的时候,BI统计部门来了一个需求,需要临时关联查询这些历史表,那么,DBA就需要从备份机上myloader导入到从库上去,为了降低导数据引起的从库CPU升高、磁盘IO的瞬间增大,可能造成主从复制的延迟.

为了减少这种重复性的体力工作,为了更快速地缩短可用时间,我们可以通过Spider引擎解决,通过它你可以将远程服务器上的表做一个映射,做一个软连接,相当于你操作本地的表一样,简单而便捷,省去了那么多麻烦,临时提供给业务方用,也不用考虑过多的性能问题.

架构图如下：

实施这个方案,选择Spider引擎是有优势的：

SQL解析和查询优化是个非常复杂且很难做好的工作,其它替代产品都是自己实现,由于复杂性,这些产品都带来了一些限制,比如不支持存储过程、函数、视图等,给使用和实施带来了困难.而作为一个存储引擎,这些工作都由MariaDB自身完成了,可以方便地将大表做分布式拆分,和Fabric相比,它的好处是对业务方使用是透明的,SQL语法没有任何限制,在不改变现有DB架构的方案中,侵入性最小.

内部原理架构图如下：

我们在一台从库上,安装上Spider引擎,只需两条命令做一个表的“超链接”,分分钟就解决了问题.

注：前提是你的从库使用的是MariaDB10.

下面是官方的垂直拆分压测报告：

而在我的压测结果上,分库分表的性能会降低70%,垂直拆分性能会降低40%,性能损耗的原因是在分布式场景下,要保证2pc的一致性和可用性,读写的表现就差,另外就是跨多个网络传输这两方面引起的,目前为RC公测版本V3.2.37,固在主库上实现该功能要慎重!

Spider引擎安装

# mysql -uroot -p </usr/local/mysql/share/install_spider.sql

Spider引擎使用

垂直拆分

1、定义后端服务器和数据库名字

CREATESERVER backend1

FOREIGN DATA WRAPPER mysql

OPTIONS(

HOST ‘192.168.143.205’,

DATABASE ‘test’,

USER ‘user_readonly’,

PASSWORD ‘123456’,

PORT 3306

);

这里后端服务器的名字为backend1,数据库名字为test,主机IP地址为192.168.143.205,用户名为user_readonly,密码为123456,端口为3306.

注：如配置错误,可直接DROP SERVERbackend1; 重新创建即可.

2、创建表的“超链接”

CREATETABLE `sbtest` (

`id` int(10) unsigned NOT NULL AUTO_INCREMENT,

`k` int(10) unsigned NOT NULL DEFAULT ‘0’,

`c` char(120) NOT NULL DEFAULT ”,

`pad` char(60) NOT NULL DEFAULT ”,

PRIMARY KEY (`id`),

KEY `k` (`k`)

) ENGINE=SPIDER DEFAULT CHARSET=utf8 COMMENT=’wrapper “mysql”,table “sbtest”,srv “backend1″‘;

这里通过设置COMMENT注释来调用后端的表,然后你就可以查看sbtest表了,是不是很简单?

分库分表

CREATETABLE `sbtest` (

`id` int(10) unsigned NOT NULLAUTO_INCREMENT,

KEY `k` (`k`)

)ENGINE=SPIDER DEFAULT CHARSET=utf8 COMMENT=’wrapper “mysql”,table”sbtest”‘

PARTITION BY LIST (mod(id,2))

(PARTITIONp0 VALUES IN (0) COMMENT = ‘srv “backend1″‘ ENGINE = SPIDER,

PARTITION p1 VALUES IN (1)COMMENT = ‘srv “backend2″‘ ENGINE = SPIDER);

同上,但区别是分库分表是采用了类似表分区的概念实现.

可调优参数

spider_conn_recycle_mode= 1

连接复用,类似连接池这种功能

optimizer_switch= ‘engine_condition_pushdown=on’

引擎下推,查询推送到后端数据库,将查询结果返回给Spider做聚合

负载均衡架构设计

由于Spider自身不保存数据,只保存路由信息,是无状态的,因而可以部署多个Spider做负载均衡,架构图如下：

后端MySQL可以结合MHA实现高可用故障切换.

（编辑：ASP站长网）