'國內重要的 Go 語言項目:TiDB 3.0 GA,穩定性和性能大幅提升'

Go語言 數據庫 SQL Lightning MySQL Go語言中文網 2019-07-21
"
"
國內重要的 Go 語言項目:TiDB 3.0 GA,穩定性和性能大幅提升

TiDB 是 PingCAP 自主研發的開源分佈式關係型數據庫,具備商業級數據庫的數據可靠性,可用性,安全性等特性,支持在線彈性水平擴展,兼容 MySQL 協議及生態,創新性實現 OLTP 及 OLAP 融合。

TiDB 3.0 版本顯著提升了大規模集群的穩定性,集群支持 150+ 存儲節點,300+TB 存儲容量長期穩定運行。易用性方面引入大量降低用戶運維成本的優化,包括引入 Information_Schema 中的多個實用系統視圖、EXPLAIN ANALYZE、SQL Trace 等。在性能方面,特別是 OLTP 性能方面,3.0 比 2.1 也有大幅提升,其中 TPC-C 性能提升約 4.5 倍,Sysbench 性能提升約 1.5 倍,OLAP 方面,TPC-H 50G Q15 因實現 View 可以執行,至此 TPC-H 22 個 Query 均可正常運行。新功能方面增加了窗口函數、視圖(實驗特性)、分區表、插件系統、悲觀鎖(實驗特性)。

截止本文發稿時 TiDB 已在 500+ 用戶的生產環境中長期穩定運行,涵蓋金融、保險、製造,互聯網,遊戲等領域,涉及交易、數據中臺、歷史庫等多個業務場景。不同業務場景對關係型數據庫的訴求可用 “百花齊放”來形容,但對關係數據庫最根本的訴求未發生任何變化,如數據可靠性,系統穩定性,可擴展性,安全性,易用性等。請跟隨我們的腳步梳理 TiDB 3.0 有什麼樣的驚喜。

一、提升大規模集群穩定性

3.0 與 2.1 版本相比,顯著提升了大規模集群的穩定性,支持單集群 150+ 存儲節點,300+TB 存儲容量長期穩定運行,主要的優化點如下:

1. 優化 Raft 副本之間的心跳機制,按照 Region 的活躍程度調整心跳頻率,減小冷數據對集群的負擔。

2. 熱點調度策略支持更多參數配置,採用更高優先級,並提升熱點調度的準確性。

3. 優化 PD 調度流程,提供調度限流機制,提升系統穩定性。

4. 新增分佈式 GC 功能,提升 GC 的性能,降低大集群 GC 時間,提升系統穩定性。

二、提升查詢計劃的穩定性

眾所周知,數據庫查詢計劃的穩定性對業務至關重要,TiDB 3.0 版本採用多種優化手段提升查詢計劃的穩定性,如下:

1. 新增 Fast Analyze 功能,提升收集統計信息的速度,降低集群資源的消耗及對業務的影響。

2. 新增 Incremental Analyze 功能,提升收集單調遞增的索引統計信息的速度,降低集群資源的消耗及對業務的影響。

3. 在 CM-Sketch 中新增 TopN 的統計信息,緩解 CM-Sketch 哈希衝突導致估算偏大,提升代價估算的準確性,提升查詢計劃的穩定性。

4. 引入 Skyline Pruning 框架,利用規則防止查詢計劃過度依賴統計信息,緩解因統計信息滯後導致選擇的查詢計劃不是最優的情況,提升查詢計劃的穩定性。

5. 新增 SQL Plan Management 功能,支持在查詢計劃不準確時手動綁定查詢計劃,提升查詢計劃的穩定性。

三、提升系統性能,TPC-C 性能提升約 4.5 倍,Sysbench 性能提升約 1.5 倍

1. OLTP

"
國內重要的 Go 語言項目:TiDB 3.0 GA,穩定性和性能大幅提升

TiDB 是 PingCAP 自主研發的開源分佈式關係型數據庫,具備商業級數據庫的數據可靠性,可用性,安全性等特性,支持在線彈性水平擴展,兼容 MySQL 協議及生態,創新性實現 OLTP 及 OLAP 融合。

TiDB 3.0 版本顯著提升了大規模集群的穩定性,集群支持 150+ 存儲節點,300+TB 存儲容量長期穩定運行。易用性方面引入大量降低用戶運維成本的優化,包括引入 Information_Schema 中的多個實用系統視圖、EXPLAIN ANALYZE、SQL Trace 等。在性能方面,特別是 OLTP 性能方面,3.0 比 2.1 也有大幅提升,其中 TPC-C 性能提升約 4.5 倍,Sysbench 性能提升約 1.5 倍,OLAP 方面,TPC-H 50G Q15 因實現 View 可以執行,至此 TPC-H 22 個 Query 均可正常運行。新功能方面增加了窗口函數、視圖(實驗特性)、分區表、插件系統、悲觀鎖(實驗特性)。

截止本文發稿時 TiDB 已在 500+ 用戶的生產環境中長期穩定運行,涵蓋金融、保險、製造,互聯網,遊戲等領域,涉及交易、數據中臺、歷史庫等多個業務場景。不同業務場景對關係型數據庫的訴求可用 “百花齊放”來形容,但對關係數據庫最根本的訴求未發生任何變化,如數據可靠性,系統穩定性,可擴展性,安全性,易用性等。請跟隨我們的腳步梳理 TiDB 3.0 有什麼樣的驚喜。

一、提升大規模集群穩定性

3.0 與 2.1 版本相比,顯著提升了大規模集群的穩定性,支持單集群 150+ 存儲節點,300+TB 存儲容量長期穩定運行,主要的優化點如下:

1. 優化 Raft 副本之間的心跳機制,按照 Region 的活躍程度調整心跳頻率,減小冷數據對集群的負擔。

2. 熱點調度策略支持更多參數配置,採用更高優先級,並提升熱點調度的準確性。

3. 優化 PD 調度流程,提供調度限流機制,提升系統穩定性。

4. 新增分佈式 GC 功能,提升 GC 的性能,降低大集群 GC 時間,提升系統穩定性。

二、提升查詢計劃的穩定性

眾所周知,數據庫查詢計劃的穩定性對業務至關重要,TiDB 3.0 版本採用多種優化手段提升查詢計劃的穩定性,如下:

1. 新增 Fast Analyze 功能,提升收集統計信息的速度,降低集群資源的消耗及對業務的影響。

2. 新增 Incremental Analyze 功能,提升收集單調遞增的索引統計信息的速度,降低集群資源的消耗及對業務的影響。

3. 在 CM-Sketch 中新增 TopN 的統計信息,緩解 CM-Sketch 哈希衝突導致估算偏大,提升代價估算的準確性,提升查詢計劃的穩定性。

4. 引入 Skyline Pruning 框架,利用規則防止查詢計劃過度依賴統計信息,緩解因統計信息滯後導致選擇的查詢計劃不是最優的情況,提升查詢計劃的穩定性。

5. 新增 SQL Plan Management 功能,支持在查詢計劃不準確時手動綁定查詢計劃,提升查詢計劃的穩定性。

三、提升系統性能,TPC-C 性能提升約 4.5 倍,Sysbench 性能提升約 1.5 倍

1. OLTP

國內重要的 Go 語言項目:TiDB 3.0 GA,穩定性和性能大幅提升

"
國內重要的 Go 語言項目:TiDB 3.0 GA,穩定性和性能大幅提升

TiDB 是 PingCAP 自主研發的開源分佈式關係型數據庫,具備商業級數據庫的數據可靠性,可用性,安全性等特性,支持在線彈性水平擴展,兼容 MySQL 協議及生態,創新性實現 OLTP 及 OLAP 融合。

TiDB 3.0 版本顯著提升了大規模集群的穩定性,集群支持 150+ 存儲節點,300+TB 存儲容量長期穩定運行。易用性方面引入大量降低用戶運維成本的優化,包括引入 Information_Schema 中的多個實用系統視圖、EXPLAIN ANALYZE、SQL Trace 等。在性能方面,特別是 OLTP 性能方面,3.0 比 2.1 也有大幅提升,其中 TPC-C 性能提升約 4.5 倍,Sysbench 性能提升約 1.5 倍,OLAP 方面,TPC-H 50G Q15 因實現 View 可以執行,至此 TPC-H 22 個 Query 均可正常運行。新功能方面增加了窗口函數、視圖(實驗特性)、分區表、插件系統、悲觀鎖(實驗特性)。

截止本文發稿時 TiDB 已在 500+ 用戶的生產環境中長期穩定運行,涵蓋金融、保險、製造,互聯網,遊戲等領域,涉及交易、數據中臺、歷史庫等多個業務場景。不同業務場景對關係型數據庫的訴求可用 “百花齊放”來形容,但對關係數據庫最根本的訴求未發生任何變化,如數據可靠性,系統穩定性,可擴展性,安全性,易用性等。請跟隨我們的腳步梳理 TiDB 3.0 有什麼樣的驚喜。

一、提升大規模集群穩定性

3.0 與 2.1 版本相比,顯著提升了大規模集群的穩定性,支持單集群 150+ 存儲節點,300+TB 存儲容量長期穩定運行,主要的優化點如下:

1. 優化 Raft 副本之間的心跳機制,按照 Region 的活躍程度調整心跳頻率,減小冷數據對集群的負擔。

2. 熱點調度策略支持更多參數配置,採用更高優先級,並提升熱點調度的準確性。

3. 優化 PD 調度流程,提供調度限流機制,提升系統穩定性。

4. 新增分佈式 GC 功能,提升 GC 的性能,降低大集群 GC 時間,提升系統穩定性。

二、提升查詢計劃的穩定性

眾所周知,數據庫查詢計劃的穩定性對業務至關重要,TiDB 3.0 版本採用多種優化手段提升查詢計劃的穩定性,如下:

1. 新增 Fast Analyze 功能,提升收集統計信息的速度,降低集群資源的消耗及對業務的影響。

2. 新增 Incremental Analyze 功能,提升收集單調遞增的索引統計信息的速度,降低集群資源的消耗及對業務的影響。

3. 在 CM-Sketch 中新增 TopN 的統計信息,緩解 CM-Sketch 哈希衝突導致估算偏大,提升代價估算的準確性,提升查詢計劃的穩定性。

4. 引入 Skyline Pruning 框架,利用規則防止查詢計劃過度依賴統計信息,緩解因統計信息滯後導致選擇的查詢計劃不是最優的情況,提升查詢計劃的穩定性。

5. 新增 SQL Plan Management 功能,支持在查詢計劃不準確時手動綁定查詢計劃,提升查詢計劃的穩定性。

三、提升系統性能,TPC-C 性能提升約 4.5 倍,Sysbench 性能提升約 1.5 倍

1. OLTP

國內重要的 Go 語言項目:TiDB 3.0 GA,穩定性和性能大幅提升

國內重要的 Go 語言項目:TiDB 3.0 GA,穩定性和性能大幅提升

"
國內重要的 Go 語言項目:TiDB 3.0 GA,穩定性和性能大幅提升

TiDB 是 PingCAP 自主研發的開源分佈式關係型數據庫,具備商業級數據庫的數據可靠性,可用性,安全性等特性,支持在線彈性水平擴展,兼容 MySQL 協議及生態,創新性實現 OLTP 及 OLAP 融合。

TiDB 3.0 版本顯著提升了大規模集群的穩定性,集群支持 150+ 存儲節點,300+TB 存儲容量長期穩定運行。易用性方面引入大量降低用戶運維成本的優化,包括引入 Information_Schema 中的多個實用系統視圖、EXPLAIN ANALYZE、SQL Trace 等。在性能方面,特別是 OLTP 性能方面,3.0 比 2.1 也有大幅提升,其中 TPC-C 性能提升約 4.5 倍,Sysbench 性能提升約 1.5 倍,OLAP 方面,TPC-H 50G Q15 因實現 View 可以執行,至此 TPC-H 22 個 Query 均可正常運行。新功能方面增加了窗口函數、視圖(實驗特性)、分區表、插件系統、悲觀鎖(實驗特性)。

截止本文發稿時 TiDB 已在 500+ 用戶的生產環境中長期穩定運行,涵蓋金融、保險、製造,互聯網,遊戲等領域,涉及交易、數據中臺、歷史庫等多個業務場景。不同業務場景對關係型數據庫的訴求可用 “百花齊放”來形容,但對關係數據庫最根本的訴求未發生任何變化,如數據可靠性,系統穩定性,可擴展性,安全性,易用性等。請跟隨我們的腳步梳理 TiDB 3.0 有什麼樣的驚喜。

一、提升大規模集群穩定性

3.0 與 2.1 版本相比,顯著提升了大規模集群的穩定性,支持單集群 150+ 存儲節點,300+TB 存儲容量長期穩定運行,主要的優化點如下:

1. 優化 Raft 副本之間的心跳機制,按照 Region 的活躍程度調整心跳頻率,減小冷數據對集群的負擔。

2. 熱點調度策略支持更多參數配置,採用更高優先級,並提升熱點調度的準確性。

3. 優化 PD 調度流程,提供調度限流機制,提升系統穩定性。

4. 新增分佈式 GC 功能,提升 GC 的性能,降低大集群 GC 時間,提升系統穩定性。

二、提升查詢計劃的穩定性

眾所周知,數據庫查詢計劃的穩定性對業務至關重要,TiDB 3.0 版本採用多種優化手段提升查詢計劃的穩定性,如下:

1. 新增 Fast Analyze 功能,提升收集統計信息的速度,降低集群資源的消耗及對業務的影響。

2. 新增 Incremental Analyze 功能,提升收集單調遞增的索引統計信息的速度,降低集群資源的消耗及對業務的影響。

3. 在 CM-Sketch 中新增 TopN 的統計信息,緩解 CM-Sketch 哈希衝突導致估算偏大,提升代價估算的準確性,提升查詢計劃的穩定性。

4. 引入 Skyline Pruning 框架,利用規則防止查詢計劃過度依賴統計信息,緩解因統計信息滯後導致選擇的查詢計劃不是最優的情況,提升查詢計劃的穩定性。

5. 新增 SQL Plan Management 功能,支持在查詢計劃不準確時手動綁定查詢計劃,提升查詢計劃的穩定性。

三、提升系統性能,TPC-C 性能提升約 4.5 倍,Sysbench 性能提升約 1.5 倍

1. OLTP

國內重要的 Go 語言項目:TiDB 3.0 GA,穩定性和性能大幅提升

國內重要的 Go 語言項目:TiDB 3.0 GA,穩定性和性能大幅提升

國內重要的 Go 語言項目:TiDB 3.0 GA,穩定性和性能大幅提升

"
國內重要的 Go 語言項目:TiDB 3.0 GA,穩定性和性能大幅提升

TiDB 是 PingCAP 自主研發的開源分佈式關係型數據庫,具備商業級數據庫的數據可靠性,可用性,安全性等特性,支持在線彈性水平擴展,兼容 MySQL 協議及生態,創新性實現 OLTP 及 OLAP 融合。

TiDB 3.0 版本顯著提升了大規模集群的穩定性,集群支持 150+ 存儲節點,300+TB 存儲容量長期穩定運行。易用性方面引入大量降低用戶運維成本的優化,包括引入 Information_Schema 中的多個實用系統視圖、EXPLAIN ANALYZE、SQL Trace 等。在性能方面,特別是 OLTP 性能方面,3.0 比 2.1 也有大幅提升,其中 TPC-C 性能提升約 4.5 倍,Sysbench 性能提升約 1.5 倍,OLAP 方面,TPC-H 50G Q15 因實現 View 可以執行,至此 TPC-H 22 個 Query 均可正常運行。新功能方面增加了窗口函數、視圖(實驗特性)、分區表、插件系統、悲觀鎖(實驗特性)。

截止本文發稿時 TiDB 已在 500+ 用戶的生產環境中長期穩定運行,涵蓋金融、保險、製造,互聯網,遊戲等領域,涉及交易、數據中臺、歷史庫等多個業務場景。不同業務場景對關係型數據庫的訴求可用 “百花齊放”來形容,但對關係數據庫最根本的訴求未發生任何變化,如數據可靠性,系統穩定性,可擴展性,安全性,易用性等。請跟隨我們的腳步梳理 TiDB 3.0 有什麼樣的驚喜。

一、提升大規模集群穩定性

3.0 與 2.1 版本相比,顯著提升了大規模集群的穩定性,支持單集群 150+ 存儲節點,300+TB 存儲容量長期穩定運行,主要的優化點如下:

1. 優化 Raft 副本之間的心跳機制,按照 Region 的活躍程度調整心跳頻率,減小冷數據對集群的負擔。

2. 熱點調度策略支持更多參數配置,採用更高優先級,並提升熱點調度的準確性。

3. 優化 PD 調度流程,提供調度限流機制,提升系統穩定性。

4. 新增分佈式 GC 功能,提升 GC 的性能,降低大集群 GC 時間,提升系統穩定性。

二、提升查詢計劃的穩定性

眾所周知,數據庫查詢計劃的穩定性對業務至關重要,TiDB 3.0 版本採用多種優化手段提升查詢計劃的穩定性,如下:

1. 新增 Fast Analyze 功能,提升收集統計信息的速度,降低集群資源的消耗及對業務的影響。

2. 新增 Incremental Analyze 功能,提升收集單調遞增的索引統計信息的速度,降低集群資源的消耗及對業務的影響。

3. 在 CM-Sketch 中新增 TopN 的統計信息,緩解 CM-Sketch 哈希衝突導致估算偏大,提升代價估算的準確性,提升查詢計劃的穩定性。

4. 引入 Skyline Pruning 框架,利用規則防止查詢計劃過度依賴統計信息,緩解因統計信息滯後導致選擇的查詢計劃不是最優的情況,提升查詢計劃的穩定性。

5. 新增 SQL Plan Management 功能,支持在查詢計劃不準確時手動綁定查詢計劃,提升查詢計劃的穩定性。

三、提升系統性能,TPC-C 性能提升約 4.5 倍,Sysbench 性能提升約 1.5 倍

1. OLTP

國內重要的 Go 語言項目:TiDB 3.0 GA,穩定性和性能大幅提升

國內重要的 Go 語言項目:TiDB 3.0 GA,穩定性和性能大幅提升

國內重要的 Go 語言項目:TiDB 3.0 GA,穩定性和性能大幅提升

國內重要的 Go 語言項目:TiDB 3.0 GA,穩定性和性能大幅提升

3.0 與 2.1 版本相比 Sysbench 的 Point Select,Update Index,Update Non-Index 均提升約 1.5 倍,TPC-C 性能提升約 4.5 倍。主要的優化點如下:

1. TiDB 持續優化 SQL 執行器,包括:優化 NOT EXISTS 子查詢轉化為 Anti Semi Join,優化多表 Join 時 Join 順序選擇等。

2. 優化 Index Join 邏輯,擴大 Index Join 算子的適用場景並提升代價估算的準確性。

3. TiKV 批量接收和發送消息功能,提升寫入密集的場景的 TPS 約 7%,讀密集的場景提升約 30%。

4. TiKV 優化內存管理,減少 Iterator Key Bound Option 的內存分配和拷貝,多個 Column Families 共享 block cache 提升 cache 命中率等手段大幅提升性能。

5. 引入 Titan 存儲引擎插件,提升 Value 值超過 1KB 時性能,緩解 RocksDB 寫放大問題,減少磁盤 IO 的佔用。

6. TiKV 新增多線程 Raftstore 和 Apply 功能,提升單節點內可擴展性,進而提升單節點內併發處理能力和資源利用率,降低延時,大幅提升集群寫入能力。

2. TiDB Lightning

"
國內重要的 Go 語言項目:TiDB 3.0 GA,穩定性和性能大幅提升

TiDB 是 PingCAP 自主研發的開源分佈式關係型數據庫,具備商業級數據庫的數據可靠性,可用性,安全性等特性,支持在線彈性水平擴展,兼容 MySQL 協議及生態,創新性實現 OLTP 及 OLAP 融合。

TiDB 3.0 版本顯著提升了大規模集群的穩定性,集群支持 150+ 存儲節點,300+TB 存儲容量長期穩定運行。易用性方面引入大量降低用戶運維成本的優化,包括引入 Information_Schema 中的多個實用系統視圖、EXPLAIN ANALYZE、SQL Trace 等。在性能方面,特別是 OLTP 性能方面,3.0 比 2.1 也有大幅提升,其中 TPC-C 性能提升約 4.5 倍,Sysbench 性能提升約 1.5 倍,OLAP 方面,TPC-H 50G Q15 因實現 View 可以執行,至此 TPC-H 22 個 Query 均可正常運行。新功能方面增加了窗口函數、視圖(實驗特性)、分區表、插件系統、悲觀鎖(實驗特性)。

截止本文發稿時 TiDB 已在 500+ 用戶的生產環境中長期穩定運行,涵蓋金融、保險、製造,互聯網,遊戲等領域,涉及交易、數據中臺、歷史庫等多個業務場景。不同業務場景對關係型數據庫的訴求可用 “百花齊放”來形容,但對關係數據庫最根本的訴求未發生任何變化,如數據可靠性,系統穩定性,可擴展性,安全性,易用性等。請跟隨我們的腳步梳理 TiDB 3.0 有什麼樣的驚喜。

一、提升大規模集群穩定性

3.0 與 2.1 版本相比,顯著提升了大規模集群的穩定性,支持單集群 150+ 存儲節點,300+TB 存儲容量長期穩定運行,主要的優化點如下:

1. 優化 Raft 副本之間的心跳機制,按照 Region 的活躍程度調整心跳頻率,減小冷數據對集群的負擔。

2. 熱點調度策略支持更多參數配置,採用更高優先級,並提升熱點調度的準確性。

3. 優化 PD 調度流程,提供調度限流機制,提升系統穩定性。

4. 新增分佈式 GC 功能,提升 GC 的性能,降低大集群 GC 時間,提升系統穩定性。

二、提升查詢計劃的穩定性

眾所周知,數據庫查詢計劃的穩定性對業務至關重要,TiDB 3.0 版本採用多種優化手段提升查詢計劃的穩定性,如下:

1. 新增 Fast Analyze 功能,提升收集統計信息的速度,降低集群資源的消耗及對業務的影響。

2. 新增 Incremental Analyze 功能,提升收集單調遞增的索引統計信息的速度,降低集群資源的消耗及對業務的影響。

3. 在 CM-Sketch 中新增 TopN 的統計信息,緩解 CM-Sketch 哈希衝突導致估算偏大,提升代價估算的準確性,提升查詢計劃的穩定性。

4. 引入 Skyline Pruning 框架,利用規則防止查詢計劃過度依賴統計信息,緩解因統計信息滯後導致選擇的查詢計劃不是最優的情況,提升查詢計劃的穩定性。

5. 新增 SQL Plan Management 功能,支持在查詢計劃不準確時手動綁定查詢計劃,提升查詢計劃的穩定性。

三、提升系統性能,TPC-C 性能提升約 4.5 倍,Sysbench 性能提升約 1.5 倍

1. OLTP

國內重要的 Go 語言項目:TiDB 3.0 GA,穩定性和性能大幅提升

國內重要的 Go 語言項目:TiDB 3.0 GA,穩定性和性能大幅提升

國內重要的 Go 語言項目:TiDB 3.0 GA,穩定性和性能大幅提升

國內重要的 Go 語言項目:TiDB 3.0 GA,穩定性和性能大幅提升

3.0 與 2.1 版本相比 Sysbench 的 Point Select,Update Index,Update Non-Index 均提升約 1.5 倍,TPC-C 性能提升約 4.5 倍。主要的優化點如下:

1. TiDB 持續優化 SQL 執行器,包括:優化 NOT EXISTS 子查詢轉化為 Anti Semi Join,優化多表 Join 時 Join 順序選擇等。

2. 優化 Index Join 邏輯,擴大 Index Join 算子的適用場景並提升代價估算的準確性。

3. TiKV 批量接收和發送消息功能,提升寫入密集的場景的 TPS 約 7%,讀密集的場景提升約 30%。

4. TiKV 優化內存管理,減少 Iterator Key Bound Option 的內存分配和拷貝,多個 Column Families 共享 block cache 提升 cache 命中率等手段大幅提升性能。

5. 引入 Titan 存儲引擎插件,提升 Value 值超過 1KB 時性能,緩解 RocksDB 寫放大問題,減少磁盤 IO 的佔用。

6. TiKV 新增多線程 Raftstore 和 Apply 功能,提升單節點內可擴展性,進而提升單節點內併發處理能力和資源利用率,降低延時,大幅提升集群寫入能力。

2. TiDB Lightning

國內重要的 Go 語言項目:TiDB 3.0 GA,穩定性和性能大幅提升

TiDB Lightning 性能與 2019 年年初相比提升 3 倍,從 100GB/h 提升到 300GB/h,即 28MB/s 提升到 85MB/s,優化點,如下:

1. 提升 SQL 轉化成 KV Pairs 的性能,減少不必要的開銷。

2. 提升單表導入性能,單表支持批量導入。

3. 提升 TiKV-Importer 導入數據性能,支持將數據和索引分別導入。

4. TiKV-Importer 支持上傳 SST 文件限速功能。

四、提升系統安全性

RBAC(Role-Based Access Control,基於角色的權限訪問控制)是商業系統中最常見的權限管理技術之一,通過 RBAC 思想可以構建最簡單“用戶-角色-權限”的訪問權限控制模型。RBAC 中用戶與角色關聯,權限與角色關聯,角色與權限之間一般是多對多的關係,用戶通過成為什麼樣的角色獲取該角色所擁有的權限,達到簡化權限管理的目的,通過此版本的迭代 RBAC 功能開發完成。

IP 白名單功能(企業版特性):TiDB 提供基於 IP 白名單實現網絡安全訪問控制,用戶可根據實際情況配置相關的訪問策略。

Audit log 功能(企業版特性):Audit log 記錄用戶對數據庫所執行的操作,通過記錄 Audit log 用戶可以對數據庫進行故障分析,行為分析,安全審計等,幫助用戶獲取數據執行情況。

加密存儲(企業版特性):TiDB 利用 RocksDB 自身加密功能,實現加密存儲的功能,保證所有寫入到磁盤的數據都經過加密,降低數據洩露的風險。

完善權限語句的權限檢查,新增 ANALYZE,USE,SET GLOBAL,SHOW PROCESSLIST 語句權限檢查。

五、提升系統易用性

1. 新增 SQL 方式查詢慢查詢,豐富 TiDB 慢查詢日誌內容,如:Coprocessor 任務數,平均/最長/90% 執行/等待時間,執行/等待時間最長的 TiKV 地址,簡化慢查詢定位工作,提高排查慢查詢問題效率,提升產品易用性。

2. 新增系統配置項合法性檢查,優化系統監控項等,提升產品易用性。

3. 新增對 TableReader、IndexReader 和 IndexLookupReader 算子內存使用情況統計信息,提高 Query 內存使用統計的準確性,提升處理內存消耗較大語句的效率。

4. 制定日誌規範,重構日誌系統,統一日誌格式,方便用戶理解日誌內容,有助於通過工具對日誌進行定量分析。

5. 新增 EXPLAIN ANALYZE 功能,提升SQL 調優的易用性。

6. 新增 SQL 語句 Trace 功能,方便排查問題。

7. 新增通過 unix_socket 方式連接數據庫。

8. 新增快速恢復被刪除表功能,當誤刪除數據時可通過此功能快速恢復數據。

六、增強 HTAP 能力

TiDB 3.0 新增 TiFlash 組件,解決複雜分析及 HTAP 場景。TiFlash 是列式存儲系統,與行存儲系統實時同步,具備低延時,高性能,事務一致性讀等特性。通過 Raft 協議從 TiKV 中實時同步行存數據並轉化成列存儲格式持久化到一組獨立的節點,解決行列混合存儲以及資源隔離性問題。TiFlash 可用作行存儲系統(TiKV)實時鏡像,實時鏡像可獨立於行存儲系統,將行存儲及列存儲從物理隔離開,提供完善的資源隔離方案,HTAP 場景最優推薦方案;亦可用作行存儲表的索引,配合行存儲對外提供智能的 OLAP 服務,提升約 10 倍複雜的混合查詢的性能。

TiFlash 目前處於 Beta 階段,計劃 2019 年 12 月 31 日之前 GA,歡迎大家申請試用。

七、未來規劃

未來我們會繼續投入到系統穩定性,易用性,性能,彈性擴展方面,向用戶提供極致的彈性伸縮能力,極致的性能體驗,極致的用戶體驗。

穩定性方面 V4.0 版本將繼續完善 V3.0 未 GA 的重大特性,例如:悲觀事務模型,View,Table Partition,Titan 行存儲引擎,TiFlash 列存儲引擎;引入近似物理備份恢復解決分佈數據庫備份恢復難題;優化 PD 調度功能等。

性能方面 V4.0 版本將繼續優化事務處理流程,減少事務資源消耗,提升性能,例如:1PC,省去獲取 commit ts 操作等。

彈性擴展方面,PD 將提供彈性擴展所需的元信息供外部系統調用,外部系統可根據元信息及負載情況動態伸縮集群規模,達成節省成本的目標。

八、社區概況

我們相信戰勝“未知”最好的武器就是社區的力量,基礎軟件需要堅定地走開源路線。截止發稿我們已經完成 41 篇源碼閱讀文章。TiDB 開源社區總計 265 位 Contributor,6 位 Committer,在這裡我們對社區貢獻者表示由衷的感謝,希望更多志同道合的人能加入進來,也希望大家在 TiDB 這個開源社區能夠有所收穫。

TiDB 3.0 GA Release Notes:https://pingcap.com/docs-cn/v3.0/releases/3.0-ga/

"

相關推薦

推薦中...