DTCC 2017:金融行業數據庫存儲與加速

Hadoop 機器學習 金融 DBA IT168企業級 2017-05-20

2017第八屆中國數據庫技術大會(DTCC2017)於2017年5月11-13日在北京舉辦。本屆大會以“數據驅動·價值發現”為主題,彙集了來自互聯網、電子商務、金融、電信、政府、行業協會等20多個領域的120多位技術專家,共同探討Oracle、MySQL、NoSQL、雲端數據庫、智能數據平臺、區塊鏈、數據可視化、深度學習等領域的前瞻性熱點話題與技術。

5月13日,在數據加速存儲專場上,拍拍貸數據庫負責人徐玉錦以《金融行業數據庫存儲與加速》為主題,分享了

金融行業數據庫存儲加速場景以及存儲方式。徐玉錦介紹,在互聯網金融裡面向的應用,通過硬件方式在場景中的使用數據存儲方式。

DTCC 2017:金融行業數據庫存儲與加速

▲拍拍貸數據庫負責人徐玉錦

傳統存儲方式

NAS存儲方式:全稱網絡附屬存儲(Network Attached Storage) ,是指存儲設備通過標準的網絡拓撲結構(例如以太網)連接,NAS是在網絡中放置一個單獨的存儲服務器,此存儲服務器開啟網絡共享。並不是提供數據庫的應用方式。

SAN存儲方式:在傳統金融行業公司應用比較多,比如戴爾、IBM。

DAS存儲方式:這種存儲方式又稱直連式存儲(Direct-AttachedStorage),存儲設備是通過電纜(通常是SCSI接口電纜)直接掛到服務器總線上。 DAS方案中外接式存儲設備目前主要是指RAID、JBOD等。基於高可用的安全定位。

傳統存儲方式應用指標:DAS用於虛擬化,IPSAV用於開銷。

傳統存儲適用場景優缺點:成本偏高,橫縣擴展有侷限性,跟存儲廠商的費用,最大的問題就是IO讀取受限於控制器,價格超高,本身是個單點,數據庫維護要求不高。

現階段存儲方式

演講中,徐玉錦說,現代化存儲方式介質主要採用兩種:PCIE和SSD,相對於傳統存儲方式而言,性價比比較高,橫向擴展比較靈活。

SSD 在MPP 中加速存儲

據瞭解,MPP數據庫有三個優勢,第一個性能完整,第二個它比Hadoop性能高,我們看到現在Hadoop性能超過MPP若干倍。第三個優勢就是說它上面的DBA工具,外延工具非常全,在Hadoop系統DBA工具越來越豐富,一些新興的創業公司在Hadoop上開發完整的DBA工具,這些工具原生支持Hadoop的,從這個來講Hadoop的DBA工具超過傳統MPP數據庫的功能。

徐玉錦認為,SSD替代是比較好的方案,隨著硬件技術的發展我們發現內存已經被大容量的SSD取代,這個也是非常明顯的趨勢。

DTCC 2017:金融行業數據庫存儲與加速

Pcie 在RDB(HA/LB)中應用

徐玉錦介紹,PCIe比以前的標準有許多改進,包括更高的最大系統總線吞吐量,更低的I / O引腳數量和更小的物理尺寸,更好的總線設備性能縮放,更詳細的錯誤檢測和報告機制(高級錯誤報告,AER)和本機熱插拔功能。 PCIe標準的更新版本為I / O虛擬化提供了硬件支持。

除此之外,PCIe的主要優勢在於其減少延遲的能力。PCIe和PCIe總線直接相連,使緩存和數據更接近CPU。他們消除了傳統存儲協議的開銷,並且在合適的條件下能實現遠遠優於從08年開始銷售的串列SCSI和SATA的固態硬盤SSD的性能。

相關推薦

推薦中...