mysql-proxy數據庫中間件架構

MySQL 編程語言 Lua 腳本語言 PHP愛好者 2017-05-28

一、mysql-proxy簡介

mysql-proxy是mysql官方提供的mysql中間件服務,上游可接入若干個mysql-client,後端可連接若干個mysql-server。

它使用mysql協議,任何使用mysql-client的上游無需修改任何代碼,即可遷移至mysql-proxy上。

mysql-proxy最基本的用法,就是作為一個請求攔截,請求中轉的中間層:

mysql-proxy數據庫中間件架構

進一步的,mysql-proxy可以分析與修改請求。攔截查詢和修改結果,需要通過編寫Lua腳本來完成。

mysql-proxy允許用戶指定Lua腳本對請求進行攔截,對請求進行分析與修改,它還允許用戶指定Lua腳本對服務器的返回結果進行修改,加入一些結果集或者去除一些結果集均可。

所以說,根本上,mysql-proxy是一個官方提供的框架,具備良好的擴展性,可以用來完成:

  • sql攔截與修改

  • 性能分析與監控

  • 讀寫分離

  • 請求路由

  • ...

這個框架提供了6個hook點,能夠讓用戶能夠動態的介入到client與server中的通訊中去。

二、mysql-proxy架構與原理

如“簡介”中所述,mysql-proxy向用戶提供了6個hook點,讓用戶實現Lua腳本來完成各種功能,這些hook點是以函數的形式提供的,用戶可以實現這些函數,在不同事件、不同操作發生時,做我們期望的事情。

connect_server()

mysql-client向proxy發起連接時,proxy會調用這個函數。用戶可以實現該函數,來做一些負載均衡的事情,例如選擇將要連向那個mysql-server。假設有多個mysql-server後端,而用戶又沒有實現這個函數,proxy默認採用輪詢(round-robin)策略。

read_handshake()

mysql-server向proxy返回“初始握手信息”時,proxy會調用這個函數。用戶可以實現這個函數,來做更多的權限驗證工作。

read_auth()

mysql-client向proxy發送認證報文(user_name, password,database)時,proxy會調用這個函數。

read_auth_result()

mysql-server向proxy返回認證結果時,proxy會調用這個函數。

read_query()

認證完成後,mysql-client每次經過proxy向mysql-server發送query報文時,proxy會調用這個函數。用戶如果要攔截請求,就可以模擬mysql-server直接返回了,當然用戶亦可以實現各種策略,修改請求,路由請求等各種不同的業務邏輯。

read_query_result()

認證完成後,mysql-server每次經過proxy向mysql-client返回query結果時,proxy會調用這個函數。需要注意,如果用戶沒有顯示實現read_query()函數,則read_query_result()函數是不會被調用的。用戶可以在此處實現各種合併策略,或者對結果集進行修改。

下圖是一個各hook函數的觸發架構圖,箭頭方向表示觸發時機:

mysql-proxy數據庫中間件架構

可以發現,最重要的兩個函數其實是read_query()和read_query_result(),各種sql的改寫與結果集的改寫邏輯,都是在這兩個函數中實現的,更細節的query過程如下圖:

mysql-proxy數據庫中間件架構

三、mysql-proxy典型應用

案例一: sql時間統計分析

假設mysql-client提交的原sql為:

XYZ;

proxy可以在read_query()裡將其改寫為:

SELECT NOW(); XYZ; SELECT NOW();

這樣在返回結果集時,就可以在應用層對sql時間進行記錄,以方便統計分析。

案例二:sql性能統計分析

假設mysql-client提交的原sql為:

XYZ;

proxy可以在read_query()裡將其改寫為:

XYZ; EXPLAIN XYZ;

這樣在返回結果集時,就可以在應用層對sql性能進行記錄,以方便統計分析。

需要強調的是,這兩個案例,由於proxy在read_query()時對sql進行了改寫,故在read_query_result()時,mysql-server其實返回了比原請求更多的信息,proxy一定要將多餘的信息去掉,再返回mysql-client。多說一句,可以加入一個唯一ID,來對請求sql和返回結果進行配對。

案例三:讀寫分離

mysql-proxy啟動時,通過參數即可配置後端mysql-server是主server還是read-only,無需修改任何代碼:

shell> mysql-proxy \ --proxy-backend-addresses=10.0.1.2:3306 \ --proxy-read-only-backend-addresses=10.0.1.3:3306

注意,這裡的兩個mysql-server為主從架構。

案例四:性能水平擴展

mysql-proxy啟動時,通過參數配置多個後端,即可實現性能的水平擴展,無需修改任何代碼:

shell> mysql-proxy \ --proxy-backend-addresses=10.0.1.2:3306 \ --proxy-backend-addresses=10.0.1.3:3306

注意,這裡的兩個mysql-server為主主架構,如果不做特殊修改,負載均衡策略為round-robin。

四、mysql-proxy其他問題

提問:Lua腳本引入的額外開銷有多大?

官網回答:Lua很快,對於大部分應用來說,額外開銷很小,原始包(raw packet)開銷大概在400微秒左右。

樓主:這,,,我不太相信。

提問:mysql-proxy和mysql-server可以部署在一臺機器上麼?

官網回答:proxy單獨部署也可以,和mysql部署在同一臺機器上也可以。相比mysql而言,proxy不怎麼佔CPU和內存,其性能損耗可以忽略不計。

樓主:這,,,性能損耗可以忽略,這我也不太信。

提問:proxy可以處理SSL連接麼?proxy不會獲取和保存我的明文密碼吧?

官網回答:作為中間人,不能處理加密信息。不會獲取密碼,也獲取不到。mysql協議不允許密碼以明文傳輸,傳輸的都是加密後的密文。

提問:在Lua腳本里可以使用LuaSocket,連緩存,連其他服務麼?

官網回答:理論上可以。但是,大哥,你確定要這樣做麼,強烈不建議這樣。

相關推薦

推薦中...