1200字范文 > Amoeba实现mysql读写分离

Amoeba实现mysql读写分离

时间：2019-10-20 23:51:06

相关推荐

Amoeba实现mysql读写分离

一、关于读写分离

amoeba : 英[ə’mi:bə]

读写分离（Read/Write Splitting），基本的原理是让主数据库处理事务性增、改、删操作（INSERT、UPDATE、DELETE），而从数据库处理SELECT查询操作。

数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。

二、Amoeba 是什么

Amoeba(变形虫)项目，专注分布式数据库 proxy 开发。座落与Client、DB Server(s)之间。对客户端透明。具有负载均衡、高可用性、sql过滤、读写分离、可路由相关的query到目标数据库、可并发请求多台数据库合并结果。

主要解决：

• 降低数据切分带来的复杂多数据库结构

• 提供切分规则并降低数据切分规则给应用带来的影响

• 降低db 与客户端的连接数

• 读写分离

三、为什么要用Amoeba

目前要实现mysql的主从读写分离，主要有以下几种方案：

1、通过程序实现，网上很多现成的代码，比较复杂，如果添加从服务器要更改多台服务器的代码。

2、通过mysql-proxy来实现，由于mysql-proxy的主从读写分离是通过lua脚本来实现。mysql proxy根本没有配置文件，lua脚本就是它的全部，目前lua的脚本的开发跟不上节奏，而写没有完美的现成的脚本，这种东西需要编写大量的脚本才能完成一个复杂的配置。因此导致用于生产环境的话风险比较大，据网上很多人说mysql-proxy的性能不高。

3、自己开发接口实现，这种方案门槛高，开发成本高，不是一般的小公司能承担得起。

4、利用阿里巴巴的开源项目Amoeba来实现，具有负载均衡、高可用性、sql过滤、读写分离、可路由相关的query到目标数据库，并且安装配置非常简单。

下面是amoeba的结构，图中的ip不是实验中的IP

四、Amoeba的安装

环境描述：

Amoeba服务器：192.168.160.136

主数据库服务器：192.168.160.137

从数据库服务器：192.168.160.138

以上全部为centos6.9

Amoeba框架是居于JDK1.5开发的，采用了JDK1.5的特性，所以还需要安装java环境，建议使用javaSE1.5以上的JDK版本

1.安装java环境

先去官网下载：

/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

安装

[root@localhost src]# rpm -ivh jdk-8u171-linux-x64.rpm Preparing...########################################### [100%]1:jdk1.8 ########################################### [100%]Unpacking JAR files...tools.jar...plugin.jar...javaws.jar...deploy.jar...rt.jar...jsse.jar...charsets.jar...localedata.jar...

然后设置java环境变量

[root@localhost src]# rpm -ivh jdk-8u171-linux-x64.rpmvim /etc/profileJAVA_HOME=/usr/java/jdk1.8.0_171-amd64JRE_HOME=/usr/java/jdk1.8.0_171-amd64/jreCLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/libPATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binexport JAVA_HOME JRE_HOME CLASS_PATH PATHsource /etc/profile

测试是否安装成功

[root@localhost lib]# java -versionjava version "10.0.1" -04-17Java(TM) SE Runtime Environment 18.3 (build 10.0.1+10)Java HotSpot(TM) 64-Bit Server VM 18.3 (build 10.0.1+10, mixed mode)

2. 安装amoeba

可以从/projects/amoeba/下载最新版本的Amoeba，

我这里下载的是amoeba-mysql-binary-2.1.0-RC5.tar.gz。Amoeba安装非常简单，直接解压即可使用，这里将Amoeba解压到/usr/local/amoeba目录下，这样就安装完成了

mkdir /usr/local/amoebamv amoeba-mysql-binary-2.1.0-RC5.tar.gz /usr/local/amoeba/cd /usr/local/amoeba/tar zvxf amoeba-mysql-binary-2.1.0-RC5.tar.gz[root@localhost lib]# cd /usr/local/amoeba/[root@localhost amoeba]# ll总用量 60drwxr-xr-x. 2 root root 4096 7月 11 11:34 benchmarkdrwxr-xr-x. 2 root root 4096 2月 28 bin-rw-r--r--. 1 root root 3983 5月 18 changelogs.txtdrwxr-xr-x. 2 root root 4096 7月 11 11:34 confdrwxr-xr-x. 3 root root 4096 7月 11 11:34 lib-rw-r--r--. 1 root root 34520 5月 18 LICENSE.txt-rw-r--r--. 1 root root 2031 5月 18 README.html

3. 配置amoeba

Amoeba For MySQL 的使用非常简单，所有的配置文件都是标准的XML 文件，总共有四个配置文件。分别为：

amoeba.xml：主配置文件，配置所有数据源以及Amoeba自身的参数设置(实现主从的话配置这个文件就可以了)rule.xml：配置所有Query 路由规则的信息functionMap.xml：配置用于解析Query 中的函数所对应的Java 实现类rullFunctionMap.xml：配置路由规则中需要使用到的特定函数的实现类

配置文件比较多，但是仅仅使用读写分离功能，只需配置两个文件即可，分别是dbServers.xml和amoeba.xml，如果需要配置ip访问控制，还需要修改access_list.conf文件，下面首先介绍

配置 dbServers.xml

[root@localhost amoeba]# cd /usr/local/amoeba/conf/[root@localhost conf]# vim dbServers.xml[root@bogon amoeba]# cat conf/dbServers.xml <?xml version="1.0" encoding="gbk"?><!DOCTYPE amoeba:dbServers SYSTEM "dbserver.dtd"><amoeba:dbServers xmlns:amoeba="/"><dbServer name="abstractServer" abstractive="true"><factoryConfig class="com.meidusa..MysqlServerConnectionFactory"><property name="connectionManager">${defaultManager}</property><property name="sendBufferSize">64</property><property name="receiveBufferSize">128</property><property name="port">3306</property>#设置Amoeba要连接的mysql数据库的端口，默认是3306<property name="schema">test</property>#设置缺省的数据库，当连接amoeba时，操作表必须显式的指定数据库名，即采用dbname.tablename的方式，不支持 use dbname指定缺省库，因为操作会调度到各个后端dbserver<property name="user">amoeba</property>#设置amoeba连接后端数据库服务器的账号和密码，因此需要在所有后端数据库上创建该用户，并授权amoeba服务器可连接<property name="password">amoeba123</property></factoryConfig><poolConfig class="com.mon.poolable.PoolableObjectPool"><property name="maxActive">500</property>#最大连接数，默认500<property name="maxIdle">500</property>#最大空闲连接数<property name="minIdle">1</property>#最新空闲连接数<property name="minEvictableIdleTimeMillis">600000</property><property name="timeBetweenEvictionRunsMillis">600000</property><property name="testOnBorrow">true</property><property name="testOnReturn">true</property><property name="testWhileIdle">true</property></poolConfig></dbServer><dbServer name="master1" parent="abstractServer">#设置一个后端可写的dbServer，这里定义为writedb，这个名字可以任意命名，后面还会用到<factoryConfig><property name="ipAddress">192.168.160.137</property> #设置后端可写dbserver</factoryConfig></dbServer><dbServer name="slave1" parent="abstractServer">#设置后端可读dbserver<factoryConfig><property name="ipAddress">192.168.160.138</property></factoryConfig></dbServer><dbServer name="master" virtual="true">#设置定义一个虚拟的dbserver，实际上相当于一个dbserver组，这里将可读的数据库ip统一放到一个组中，将这个组的名字命名为myslave<poolConfig class="com.meidusa.amoeba.server.MultipleServerPool"><property name="loadbalance">1</property>#选择调度算法，1表示复制均衡，2表示权重，3表示HA，这里选择1<property name="poolNames">master1</property>#master成员，master，定义几个写几个</poolConfig></dbServer><dbServer name="slave" virtual="true">#设置定义一个虚拟的dbserver，实际上相当于一个dbserver组，这里将可读的数据库ip统一放到一个组中，将这个组的名字命名为myslave<poolConfig class="com.meidusa.amoeba.server.MultipleServerPool"><property name="loadbalance">1</property>#选择调度算法，1表示复制均衡，2表示权重，3表示HA，这里选择1<property name="poolNames">slave1</property>#slave组成员，这个就是上面的slave1，定义几个写几个</poolConfig></dbServer></amoeba:dbServers>

另一个配置文件amoeba.xml

vim amoeba.xml[root@bogon amoeba]# cat conf/amoeba.xml <?xml version="1.0" encoding="gbk"?><!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd"><amoeba:configuration xmlns:amoeba="/"><proxy><service name="Amoeba for Mysql" class="com.meidusa.amoeba.mysql.server.MySQLService"><property name="port">9006</property>#设置amoeba监听的端口，默认是8066#下面配置监听的接口，如果不设置，默认监听所有的IP<property name="ipAddress">192.168.160.136</property><property name="connectionFactory"><bean class="com.meidusa..MysqlClientConnectionFactory"><property name="sendBufferSize">128</property><property name="receiveBufferSize">64</property></bean></property><property name="authenticateProvider"><bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator"># 提供客户端连接amoeba时需要使用这里设定的账号 (这里的账号密码和amoeba连接后端数据库服务器的密码无关)#对外连接的密码<property name="user">amoeba_cli</property>#对外验证密码 <property name="password">123456</property><property name="filter"><bean class="com..authenticate.server.IPAccessController"><property name="ipFile">${amoeba.home}/conf/access_list.conf</property></bean></property></bean></property></service><runtime class="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext"><property name="executeThreadSize">128</property><property name="statementCacheSize">500</property><property name="serverCharset">utf8</property><property name="queryTimeout">60</property></runtime></proxy><connectionManagerList><connectionManager name="defaultManager" class="com..MultiConnectionManagerWrapper"><property name="subManagerClassName">com..AuthingableConnectionManager</property></connectionManager></connectionManagerList><dbServerLoader class="com.meidusa.amoeba.context.DBServerConfigFileLoader"><property name="configFile">${amoeba.home}/conf/dbServers.xml</property></dbServerLoader><queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter"><property name="ruleLoader"><bean class="com.meidusa.amoeba.route.TableRuleFileLoader"><property name="ruleFile">${amoeba.home}/conf/rule.xml</property><property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property></bean></property><property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property><property name="LRUMapSize">1500</property>#这两个选项默认是注销掉的，需要取消注释，这里用来指定前面定义好的俩个读写池#这个池子的名字在dbServer.xml中都有定义<property name="defaultPool">master</property>#设置amoeba默认的池，这里设置为master<property name="writePool">master</property>#这个是写的池<property name="readPool">slave</property> #这个是读池<property name="needParse">true</property></queryRouter></amoeba:configuration>

4. 配置主从服务器的复制

主master服务器

192.168.160.137

#创建账号GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO repl@'192.168.160.%' IDENTIFIED BY '123456';flush privileges;#配置master配置文件fvim /etc/f[mysqld]log-bin=mysql-binserver-id=10#重启master/etc/init.d/mysqld restart #查看master 状态show master status;

从服务器slave 配置

#配置fserver_id = 2log-bin = mysql-binrelay_log = /var/lib/mysql/mysql-relay-binlog_slave_updates = 1read_only = 1#重启/etc/init.d/mysqld restart# 配置连接主服务器的信息CHANGE MASTER TO MASTER_HOST='192.168.160.137',MASTER_USER='repl',MASTER_PASSWORD='123456',MASTER_LOG_FILE='mysql-bin.000001',MASTER_LOG_POS=0;#启动slaveSTART SLAVE;#查看从服务器的状态show slave status;

测试主从复制效果

在主master（192.168.160.137）上创建数据库test

create database test charset utf8;

在从slave（192.168.160.138）上查看效果

mysql> show databases;+--------------------+| Database |+--------------------+| information_schema || mysql || performance_schema || test|+--------------------+4 rows in set (0.04 sec)

5. 分别在master和slave上为amoedb授权

每一个后端服务器都要给amoeba授权

也就是在dbServers.xml中，amoeba为连接后端的db的账号

授权的目的是让amoeba 服务器能够连接后端的master - slave 数据库

在master（192.168.160.137）上授权

GRANT ALL ON *.* TO 'amoeba'@'192.168.160.136' IDENTIFIED BY 'amoeba123';flush privileges;

在slave（192.168.160.138）上授权

GRANT ALL ON *.* TO 'amoeba'@'192.168.160.136' IDENTIFIED BY 'amoeba123';flush privileges;

为客户端连接amoeba授权（在amoeba.xml中定义的连接amoeba账号）

在amoeba上授权

授权的目的是让客户端能连接 amoeba 服务器进行操作，弄一个低权限的账号比较安全

GRANT ALL ON test.* TO amoeba@'%' IDENTIFIED BY '123456';flush privileges;

6. 启动amoeba

[root@localhost bin]# /usr/local/amoeba/bin/amoeba startJava HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=16m; support was removed in 8.0Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=96m; support was removed in 8.0The stack size specified is too small, Specify at least 228kError: Could not create the Java Virtual Machine.Error: A fatal exception has occurred. Program will exit.出现错误1 ：Error: Could not create the Java Virtual Machine.Error: A fatal exception has occurred. Program will exit.从错误文字上看，应该是由于stack size太小，导致JVM启动失败，要如何修改呢？其实Amoeba已经考虑到这个问题，并将JVM参数配置写在属性文件里。现在，让我们通过该属性文件修改JVM参数。修改jvm.properties文件JVM_OPTIONS参数。[root@bogon amoeba]# vim /usr/local/amoeba/bin/amoeba原为：DEFAULT_OPTS="-server -Xms1024m -Xmx1024m -Xss128k"改成：DEFAULT_OPTS="-server -Xms1024m -Xmx1024m -Xss256k"再次启动[root@localhost amoeba]# ./bin/amoeba startlog4j:WARN log4j config load completed from file:/usr/local/amoeba/conf/log4j.xml-07-11 14:10:51,707 INFO context.MysqlRuntimeContext - Amoeba for Mysql current versoin=5.1.45-mysql-amoeba-proxy-2.1.0-RC5log4j:WARN ip access config load completed from file:/usr/local/amoeba/conf/access_list.conf-07-11 14:10:52,684 INFO net.ServerableConnectionManager - Amoeba for Mysql listening on 0.0.0.0/0.0.0.0:8066.-07-11 14:10:52,692 INFO net.ServerableConnectionManager - Amoeba Monitor Server listening on /127.0.0.1:14315.[root@localhost ~]# netstat -tunplt | grep javatcp 00 :::8066 :::* LISTEN4888/java tcp 00 ::ffff:127.0.0.1:14315:::* LISTEN4888/java 可以查看amoeba已经启动成功如果还是启动失败：查看配置文件dbServers.xml，里面查看myslave组的配置账号，是否有写错的。

将amoeba在后台启动

[root@PC lib]#/usr/local/amoeba/bin/amoeba start &

开机自动启动可加入到 /etc/rc.local内

echo"/usr/local/amoeba/bin/amoeba start &" >> /etc/rc.local

7.测试

远程登陆mysql客户端通过指定amoeba配置文件中指定的用户名、密码、和端口以及amoeba服务器ip地址链接mysql数据库

（1）连接amoeba 服务器进行操作,端口就是amoeba.xml中定义的端口号

[root@localhost logs]# mysql -h 192.168.160.136 -u amoeba -P9006 -p

（2）测试在test数据库中插入数据

mysql> create table t3( id int not null default 0 )engine =innodb charset utf8;Query OK, 0 rows affected (0.04 sec)mysql> show tables;+----------------+| Tables_in_test |+----------------+| t3 |+----------------+

查看matser 137

mysql> show tables;+----------------+| Tables_in_test |+----------------+| t3 |+----------------+

查看slave 138

mysql> show tables;+----------------+| Tables_in_test |+----------------+| t3 |+----------------+

（3）实验停止 slave 138 ,观察amoeba 服务器

[root@localhost ~]# /etc/init.d/mysqld stop停止 mysqld：[确定]

mysql> select * from t3;ERROR (HY000): Lost connection to MySQL server during querymysql> insert into t1 values (666);ERROR (HY000): MySQL server has gone awayNo connection. Trying to reconnect...Connection id: 810642782Current database: testQuery OK, 1 row affected (0.20 sec)

发现已不能进行select 操作，随即插入数据，发现虽然提示错误，但仍然可以插入成功，在master 137 上也有新增数据

（4）开启slave 138 ，停止 master 137

mysql> show tables;ERROR (HY000): MySQL server has gone awayNo connection. Trying to reconnect...Connection id: 810642782

发现读写都不能进行，因为master是在amoeba.xml中定义的默认服务器，默认服务器挂掉了，肯定在amoeba上是不能进行读写的