Mycat讀寫分離配置實踐

編程語言 MySQL GitHub Java 楊建榮的學習筆記 楊建榮的學習筆記 2017-09-05

Mycat讀寫分離配置實踐

工作這些年來,也去了一些地方,有了一些見聞,隱隱感覺很多文化和貓有著千絲萬縷的聯繫。就拿IT行業來說吧,貓有著很高的曝光率,比如大名鼎鼎的tomcat,是由SUN(曾經的千億帝國這幾天新聞不斷)的軟件構架師詹姆斯·鄧肯·戴維森開發,並由Sun貢獻給Apache軟件基金會,他希望這種動物能夠自己照顧自己,將其命名為Tomcat,於是乎這個名字就留下來了。

在Oracle中我最喜歡查看的一個數據字典試圖就是cat,這是典型的貓文化,沒有其他的技術意味。

最早聽到mycat的時候,我意味是一個國外的開源項目,但是緊接著發現這竟然是一個國產項目,讓我有些激動,而且源代碼是基於Java的,我覺得太對我的胃口了。

下面的貓兒是在泰國皮皮島的一個早晨碰見的,它睡在門口,眼皮都懶得抬一下。

Mycat讀寫分離配置實踐

mycat這麼一個項目,在國內確實很火,在github上也有鏈接,星標有2000多個。是基於阿里開源的Cobar產品而研發。

github鏈接如下:

https://github.com/MyCATApache/Mycat-Server/wiki

官方的鏈接如下:

http://dl.mycat.io/目前的版本比較新的是1.6,摸爬滾打這麼多年,也算是見證了國內數據庫的一個發展,它本身不僅僅支持MySQL,還支持Oracle,PG等,目前MySQL方向用的最為流行。

安裝部署

Mycat的安裝部署其實很簡單,從官方下載對應的安裝包即可,大概是15M左右。

下載最新的安裝包:

wget http://dl.mycat.io/1.6-RELEASE/Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz

解壓後的安裝包內容有60M左右。

安裝Mycat很簡單,只需要保證Java已經正確安裝,如果系統自帶,版本不低也可以。

# java -version

java version "1.7.0_45"

OpenJDK Runtime Environment (rhel-2.4.3.3.0.1.el6-x86_64 u45-b15)

OpenJDK 64-Bit Server VM (build 24.45-b08, mixed mode)相應的Java的基礎配置也需要在profile文件裡對應調整一下。

比如修改.bash_profile文件。

export JAVA_HOME=/usr/lib/jvm/jre-1.7.0-openjdk.x86_64

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

創建系統級的組和用戶

useradd mycat對於安裝來說,幾乎不需要可以調整,直接把解壓後的mycat目錄拷貝到/usr/local下即可,然後修改權限。

mv mycat/ /usr/local/

chown mycat:mycat /usr/local/mycat

配置數據庫環境

我們需要配置的數據庫環境假設是一主三從,可以在一臺服務器上搭建模擬,一主三從如果快速搭建部署,可以參考github上我寫的一個小腳本,https://github.com/jeanron100/mysql_slaves,分分鐘搞定。

假設環境的情況如下:

master: 端口33091

slave1: 端口33092

slave2: 端口33093

slave3: 端口33093

mycat可以實現很多功能,在此先實現一個需求,比如現在有一套環境讀多寫少,需要提供大量的數據量連接訪問。我們就可以創建兩個用戶mycat_user,負責DML,mycat_read負責查詢。create user mycat_user identified by 'mycat';

create user mycat_read identified by 'mycat';

比如有多個數據庫,我們就模擬創建3個數據庫來。

create database db1;

create database db2;

create database db3;

分配權限的部分如下:

grant select on db1.* to mycat_read;

grant select,insert,delete,update on db1.* to mycat_user;

grant select on db2.* to mycat_read;

grant select,insert,delete,update on db2.* to mycat_user;

grant select on db3.* to mycat_read;

grant select,insert,delete,update on db3.* to mycat_user;賦予從庫狀態查詢的權限,在後面需要用。

mysql> grant replication client on *.* to 'mycat_read'@'%' ;

mysql> grant replication client on *.* to 'mycat_user'@'%' ;

初始化數據

初始化數據庫,我還是選用一個經典的標travelrecord,然後插入兩行記錄。在3個數據庫db1,db2,db3中創建。

mysql> create table travelrecord

(id bigint not null primary key,user_id varchar(100),traveldate DATE, fee decimal,days int);

mysql> insert into travelrecord(id,user_id,traveldate,fee,days) values(1,@@hostname,20160101,100,10);

mysql> insert into travelrecord(id,user_id,traveldate,fee,days) values(5000001,@@hostname,20160102,100,10);

mycat配置

上面的工作做好之後,系統層面,數據庫層面的工作就做好了。啟動Mycat的命令很簡單,比如mycat start,停止Mycat的命 令 mycat stop等等。

命令很簡單,關鍵在於Mycat的配置,這個才是重點。在mycat/conf目錄下有兩個文件需要重點關注,一個是server.xml,一個是schema.xml

server.xml的配置關鍵內容如下,我們配置了兩個用戶,所以在這個配置文件裡就先按照如下的配置,這裡我們配置schema是pxc_schema,先賣個關子。

<user name="mycat_user">

<property name="password">mycat</property>

<property name="schemas">pxc_schema</property>

</user>

<user name="mycat_read">

<property name="password">mycat</property>

<property name="schemas">pxc_schema</property>

<property name="readOnly">true</property>

</user>

</mycat:server>

schema.xml的內容如下,也做了相應的標註。

<?xml version="1.0"?>

<!DOCTYPE mycat:schema SYSTEM "schema.dtd">

<mycat:schema xmlns:mycat="http://io.mycat/">

<!-- 定義MyCat的邏輯庫 -->

<schema name="pxc_schema" checkSQLschema="false" sqlMaxLimit="100" dataNode="pcxNode"></schema>

<!-- 定義MyCat的數據節點 -->

<dataNode name="pcxNode" dataHost="dtHost" database="db1" />

<!-- 定義數據主機dtHost,連接到MySQL讀寫分離集群 ,schema中的每一個dataHost中的host屬性值必須唯一-->

<!-- dataHost實際上配置就是後臺的數據庫集群,一個datahost代表一個數據庫集群 -->

<!-- balance="1",全部的readHost與stand by writeHost參與select語句的負載均衡-->

<!-- writeType="0",所有寫操作發送到配置的第一個writeHost,這裡就是我們的hostmaster,第一個掛了切到還生存的第二個writeHost-->

<dataHost name="dtHost" maxCon="500" minCon="20" balance="1"

writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">

<!--心跳檢測 -->

<heartbeat>show slave status</heartbeat>

<!--配置後臺數據庫的IP地址和端口號,還有賬號密碼,這裡我們可以根據需要來配置,比如一主三從的環境 -->

<writeHost host="hostMaster" url="192.168.163.128:33091" user="mycat_user" password="mycat" />

<writeHost host="hostSlave1" url="192.168.163.128:33092" user="mycat_read" password="mycat" />

<writeHost host="hostSlave2" url="192.168.163.128:33093" user="mycat_read" password="mycat" />

<writeHost host="hostSlave3" url="192.168.163.128:33094" user="mycat_read" password="mycat" />

</dataHost>

</mycat:schema>

檢測Mycat的連接情況

Mycat的配置做好了以後,整個工作的80%的任務就完成了,其實關鍵還是在於Mycat文件的配置,配置不當還是需要反覆調試的。

如果驗證Mycat的生效呢,我們可以使用8066這個默認端口來連接,如果裡面出現mycat的字樣,就證明是Mycat設置生效了。

[root@oel64 logs]# mysql -umycat_read -pmycat -P8066 -h192.168.163.128

。。。

Server version: 5.6.29-mycat-1.6-RELEASE-20161028204710 MyCat Server (OpenCloundDB)

。。。

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

我們看看這個用戶mycat_read能夠訪問的數據庫,在數據庫裡應該就是db1,db2,db3,為什麼這裡出現了pxc_shema呢,其實也可以理解是Mycat在中間過濾的效果,其實這是db1,而db2,db3還沒有在Mycat配置文件中體現,所以還沒有生效。

mysql> show databases;

+------------+

| DATABASE |

+------------+

| pxc_schema |

+------------+

1 row in set (0.00 sec)我們就連接到這個pxc_schema數據庫。

mysql> use pxc_schema

Database changed

可以看到這個數據庫下的表。

mysql> show tables;

+---------------+

| Tables_in_db1 |

+---------------+

| travelrecord |

+---------------+

1 row in set (0.01 sec)

如果驗證我們連接到的數據庫是啟用了Mycat的讀寫分離呢。我們可以看端口。

mysql> select @@port;

+--------+

| @@port |

+--------+

| 33092 |

+--------+

1 row in set (0.05 sec)

由此我們可以看到,連接到的是33092的端口,即是slave1

可以反覆切換,看看這個load balance的方式是否滿意。

繼續擴展Mycat讀寫分離的配置

上面的步驟只是簡單實現了讀寫分離的配置,比如我要訪問多個數據庫,而不僅僅是pxc_schema,該如何配置呢。

我們在server.xml中就需要對schema擴展一下,schema的值是以逗號分隔,配置的細節是在schema.xml裡面映射的。

<user name="mycat_user">

<property name="password">mycat</property>

<property name="schemas">pxc_schema,db2,db3</property>

</user>

如果在schema.xml裡面配置多個 邏輯庫,就可以配置多個schema鍵值即可。

<schema name="pxc_schema" checkSQLschema="false" sqlMaxLimit="100" dataNode="pcxNode"></schema>

<schema name="db2" checkSQLschema="false" sqlMaxLimit="100" dataNode="pcxNode2"></schema>

<schema name="db3" checkSQLschema="false" sqlMaxLimit="100" dataNode="pcxNode3"></schema> 相應的dataNode也需要擴展映射。

<dataNode name="pcxNode" dataHost="dtHost" database="db1" />

<dataNode name="pcxNode2" dataHost="dtHost" database="db2" />

<dataNode name="pcxNode3" dataHost="dtHost" database="db3" /> 整個過程完成後,重啟一下Mycat即可。

相關推薦

推薦中...