Mycat - 實現數據庫的讀寫分離與高可用

mysql主從實現

Mycat不負責任何的數據同步問題,mysql的主從複製還得從mysql層面來實現;如果沒有實現mysql的主從複製,後文就都成

如果想學習Java工程化、高性能及分佈式、深入淺出。微服務、Spring,MyBatis,Netty源碼分析的朋友可以加我的Java高級交流:854630135,群裡有阿里大牛直播講解技術,以及Java大型互聯網技術的視頻免費分享給大家。


Mycat - 實現數據庫的讀寫分離與高可用

了。

mysql的主從複製是實現讀寫分離的基礎,具體的搭建過程請參考:mysql5.7.18的安裝與主從複製,本文就不展示詳細的搭建過程了。我的mysql主從信息如下

master:192.168.1.210;slave:192.168.1.211; 需要複製的數據庫:mycat_db

Mycat - 實現數據庫的讀寫分離與高可用


Mycat搭建

Mycat是什麼?是數據庫中間件,介於數據庫與應用之間,進行數據處理與交互的中間件服務,可以簡單的理解成數據庫代理,我們的應用只需要與數據庫中間件交互,而無需關注複雜的數據庫部署。

Mycat - 實現數據庫的讀寫分離與高可用


如上圖所示,數據被分到多個分片數據庫後,應用如果需要讀取數據,就需要處理多個數據源的數據。如果沒有數據庫中間件,那麼應用將直接面對分片集群,數據源切換、事務處理、數據聚合都需要在應用層直接處理,原本該是專注於業務的應用,將會花大量的工作來處理分片後的問題,最重要的是每個應用處理將是完全的重複造輪子。所以有了數據庫中間件,應用只需要關注業務處理,大量的通用的數據聚合、事務、數據源切換都由數據庫中間件來處理。更多Mycat信息,請查閱《Mycat權威指南》。

192.168.1.212上搭建Mycat

JDK的安裝

Mycat依賴jdk,我們需要先安裝jdk,必須是JDK7或更高版本;具體安裝過程就不做展示了,大家可參考:virtualBox安裝centos,並搭建tomcat。

Mycat安裝

安裝包:Mycat-server-1.6.6.1-release-20181031195535-linux.tar,在/opt目錄下

[root@centos212 opt]# cp Mycat-server-1.6.6.1-release-20181031195535-linux.tar.gz -C /usr/local

[root@centos212 local]# useradd mycat

[root@centos212 local]# chown -R mycat:mycat /usr/local/mycat

[root@centos212 local]# passwd mycat

修改mycat內存配置

如果想學習Java工程化、高性能及分佈式、深入淺出。微服務、Spring,MyBatis,Netty源碼分析的朋友可以加我的Java高級交流:854630135,群裡有阿里大牛直播講解技術,以及Java大型互聯網技術的視頻免費分享給大家。


我的linux虛擬機配置的內存大小是1GB,大家需要根據自己的實際情況進行配置

[root@centos212 local]# vi mycat/conf/wrapper.conf

wrapper.java.additional.10=-Xmx4G (大約在36行)
wrapper.java.additional.11=-Xms1G
改成
wrapper.java.additional.10=-Xmx1G
wrapper.java.additional.11=-Xms256M

配置hostname(若已配置則忽略)

[root@centos212 local]# vi /etc/sysconfig/network

追加一行:HOSTNAME=你的主機名(xxxx),我的主機名是centos212

[root@centos212 local]# vi /etc/hosts

在127.0.0.1和::1末尾追加你的主機名(xxxx),如下圖所示,

Mycat - 實現數據庫的讀寫分離與高可用


將MyCat配置到環境變量中

[root@centos212 local]# vi /etc/profile

增加如下內容

MYCAT_HOME=/usr/local/mycat

PATH=$MYCAT_HOME/bin:$PATH

Mycat - 實現數據庫的讀寫分離與高可用


保存後退出,執行source命令使配置生效

[root@centos212 local]# source /etc/profile

配置mycat

server.xml和rule.xml先不修改,用默認的即可;只需要簡單配置下schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
</schema>
<!-- <dataNode name="dn1$0-743" dataHost="localhost1" database="db$0-743"
/> -->
<dataNode name="dn1" dataHost="localhost1" database="test_db" />
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="hostM1" url="192.168.1.210:3306" user="root" password="123456" />
</dataHost>
</mycat:schema>


默認有兩個賬號可以連接mycat的TESTDB,root:123456和user:user(在server.xml中),user賬號只有只讀權限。

啟動mycat

[root@centos212 local]# mycat start

搭建結果展示

Mycat - 實現數據庫的讀寫分離與高可用


可以看到,通過mycat我們成功往192.168.1.210的test_db庫中創建了一張tbl_user表。

mysql讀寫分離、高可用實現

本文不涉及複雜的數據庫部署,只是簡單的mysql主從部署(單主單從),Mycat實現mysql的讀寫分離與高可用;mysql主從複製已經搭建好,Mycat也已經搭建好,剩下的就是配置Mycat,將Mycat與我們的mysql整合起來,結構圖如下

Mycat - 實現數據庫的讀寫分離與高可用


如圖所示,writeHost表示主節點,readHost表示從節點,Mycat內部定期對一個dataHost裡所有的writeHost與readHost節點發起心跳檢測(writeHost與readHost都可以配置多個,至於數據同步的問題則需要我們從mysql層面實現了,Mycat並不提供數據同步的支持,本文只講mysql一主一從),正常情況下,Mycat會將第一個writeHost作為寫節點,所有的DML SQL會發送給此節點,若Mycat開啟了讀寫分離,則Select SQL會根據讀寫分離策略發往readHost(+writeHost)執行。當一個dataHost裡面配置了多個writeHost時,如果第一個writeHost宕機,則Mycat會在默認的3次心跳檢查失敗後,自動切換到下一個可用的writeHost,以此類推。

這存在一個問題,就是當宕機的writeHost恢復後,怎麼重新加入Mycat,要不要恢復為原來的寫節點? 最佳建議方式是:保持現有狀態不變,改旗易幟,恢復後的mysql節點作為從節點,跟隨新的主節點,重新配置主從同步,原來跟隨該節點做同步的從節點也同樣換帥,重新配置同步源,這些節點的數據手工完成同步後,再加入Mycat裡。

配置Mycat,實現mysql讀寫分離與高可用

此種需求下,Mycat的配置非常簡單,不用針對每個表進行配置,只需要在schema.xml中的元素上增加dataNode="defaultDN"屬性,並配置此dataNode對應的真實物理數據庫的database,然後dataHost開啟讀寫分離功能即可。具體配置如下,server.xml和rule.xml先不修改,用默認的即可;只需要簡單配置下schema.xml

Mycat - 實現數據庫的讀寫分離與高可用

View Code

重啟mycat:[root@centos212 logs]# mycat restart,mycat數據庫TESTDB內容如下

Mycat - 實現數據庫的讀寫分離與高可用


測試結果展示

讀寫分離

一般情況,查詢會走slave節點,其他走master節點,對master節點數據庫的增、刪、改操作最終會同步到slave節點,但這個同步所需要的時間不好掌握(網絡延時等因素),如果延時太長,我們新增一條數據後立即去查詢,很有可能會查詢不到剛新增的的數據;如果對數據的實時性要求比較高的查詢,我們可以強制查詢走master節點,如下所示

強制走master:/*!mycat:db_type=master*/ select * from tbl_user;強制走slave:/*!mycat:db_type=slave*/ select * from tbl_user

另外我們可以配置mycat,根據主從延時時長來決定查詢走master還是slave,具體配置可查閱《Mycat權威指南》。

讀寫分離示例如下:

Mycat - 實現數據庫的讀寫分離與高可用

如果想學習Java工程化、高性能及分佈式、深入淺出。微服務、Spring,MyBatis,Netty源碼分析的朋友可以加我的Java高級交流:854630135,群裡有阿里大牛直播講解技術,以及Java大型互聯網技術的視頻免費分享給大家。


可以看到,一般查詢走的是slave;增、刪、改走master,然後同步到slave;我們也可以強制走master,還是slave。示例中我手動的將slave中的王五改成了王五_1,是為了更好的展示查詢請求是走的master還是slave,真實情況是不會出現這種情況的。

高可用

我們手動停掉master上的mysql服務,看看mycat能不能自動的切換到下一個writeHost,示例如下

Mycat - 實現數據庫的讀寫分離與高可用


mycat將master從hostM1切換到hostM2需要一定的時間,切換過程中如果強制從master操作,會拋出連接異常(java.net.ConnectException: 拒絕連接),這是屬於正常情況。當切換完成之後,就可以正常操作mycat了,而我們的操作方式無需做任何改變(應用無需做任何變化,仍按之前的方式訪問mycat即可)。

宕機的master節點修復後,如何重新加入mycat,這個問題在前面已經講過,該節點及其readHost節點全部以slave的形式加入到其他writeHost的readHost中,修改schema.xml,而不要去修改dnindex.properties,另外還得從mysql層面修改同步源。

總結

1、數據的同步在mysql層面實現的,mycat不負責任何的數據庫同步;

2、mycat的搭建比較簡單,但也有一些注意點:依賴JDK以及其版本,hostname配置等等。期間如果遇到什麼問題,儘量百度,就不要google了,Mycat是中國製造,百度搜索的資料更全;

3、數據庫的讀寫分離是mycat最常用的場景之一,配置比較簡單,細心一點,實現起來應該不難;

4、讀寫分離往往還伴隨著高可用,同樣mycat也支持mysql的高可用,能夠自動的進行master的切換;

5、關於mycat自身的高可用與負載均衡,請上飛機:Mycat - 高可用與負載均衡實現,滿滿的乾貨!;

如果想學習Java工程化、高性能及分佈式、深入淺出。微服務、Spring,MyBatis,Netty源碼分析的朋友可以加我的Java高級交流:854630135,群裡有阿里大牛直播講解技術,以及Java大型互聯網技術的視頻免費分享給大家。


相關推薦

推薦中...