'學會這幾個Redis技巧,讓你的程序快如閃電'

Redis 數據庫 JSON 人生第一份工作 java互聯網架構 2019-08-22
"

來源:https://dwz.cn/RseclNiY


一、Redis封裝架構講解

實際上NewLife.Redis是一個完整的Redis協議功能的實現,但是Redis的核心功能並沒有在這裡面,而是在NewLife.Core裡面。

這裡可以打開看一下,NewLife.Core裡面有一個NewLife.Caching的命名空間,裡面有一個Redis類,裡面實現了Redis的基本功能;另一個類是RedisClient是Redis的客戶端。

Redis的核心功能就是有這兩個類實現,RedisClient代表著Redis客戶端對服務器的一個連接。Redis真正使用的時候有一個Redis連接池,裡面存放著很多個RedisClient對象。


"

來源:https://dwz.cn/RseclNiY


一、Redis封裝架構講解

實際上NewLife.Redis是一個完整的Redis協議功能的實現,但是Redis的核心功能並沒有在這裡面,而是在NewLife.Core裡面。

這裡可以打開看一下,NewLife.Core裡面有一個NewLife.Caching的命名空間,裡面有一個Redis類,裡面實現了Redis的基本功能;另一個類是RedisClient是Redis的客戶端。

Redis的核心功能就是有這兩個類實現,RedisClient代表著Redis客戶端對服務器的一個連接。Redis真正使用的時候有一個Redis連接池,裡面存放著很多個RedisClient對象。


學會這幾個Redis技巧,讓你的程序快如閃電


所以我們Redis的封裝有兩層,一層是NewLife.Core裡面的Redis以及RedisClient;另一層就是NewLife.Redis。這裡面的FullRedis是對Redis的實現了Redis的所有的高級功能。

這裡你也可以認為NewLife.Redis是Redis的一個擴展。

二、Test實例講解Redis的基本使用

1、實例

打開Program.cs看下代碼:


"

來源:https://dwz.cn/RseclNiY


一、Redis封裝架構講解

實際上NewLife.Redis是一個完整的Redis協議功能的實現,但是Redis的核心功能並沒有在這裡面,而是在NewLife.Core裡面。

這裡可以打開看一下,NewLife.Core裡面有一個NewLife.Caching的命名空間,裡面有一個Redis類,裡面實現了Redis的基本功能;另一個類是RedisClient是Redis的客戶端。

Redis的核心功能就是有這兩個類實現,RedisClient代表著Redis客戶端對服務器的一個連接。Redis真正使用的時候有一個Redis連接池,裡面存放著很多個RedisClient對象。


學會這幾個Redis技巧,讓你的程序快如閃電


所以我們Redis的封裝有兩層,一層是NewLife.Core裡面的Redis以及RedisClient;另一層就是NewLife.Redis。這裡面的FullRedis是對Redis的實現了Redis的所有的高級功能。

這裡你也可以認為NewLife.Redis是Redis的一個擴展。

二、Test實例講解Redis的基本使用

1、實例

打開Program.cs看下代碼:


學會這幾個Redis技巧,讓你的程序快如閃電


這裡XTrace.UseConsole();是向控制檯輸出日誌,方便調試使用查看結果。

接下來看第一個例子Test1,具體的我都在代碼中進行了註釋,大家可以看下:


"

來源:https://dwz.cn/RseclNiY


一、Redis封裝架構講解

實際上NewLife.Redis是一個完整的Redis協議功能的實現,但是Redis的核心功能並沒有在這裡面,而是在NewLife.Core裡面。

這裡可以打開看一下,NewLife.Core裡面有一個NewLife.Caching的命名空間,裡面有一個Redis類,裡面實現了Redis的基本功能;另一個類是RedisClient是Redis的客戶端。

Redis的核心功能就是有這兩個類實現,RedisClient代表著Redis客戶端對服務器的一個連接。Redis真正使用的時候有一個Redis連接池,裡面存放著很多個RedisClient對象。


學會這幾個Redis技巧,讓你的程序快如閃電


所以我們Redis的封裝有兩層,一層是NewLife.Core裡面的Redis以及RedisClient;另一層就是NewLife.Redis。這裡面的FullRedis是對Redis的實現了Redis的所有的高級功能。

這裡你也可以認為NewLife.Redis是Redis的一個擴展。

二、Test實例講解Redis的基本使用

1、實例

打開Program.cs看下代碼:


學會這幾個Redis技巧,讓你的程序快如閃電


這裡XTrace.UseConsole();是向控制檯輸出日誌,方便調試使用查看結果。

接下來看第一個例子Test1,具體的我都在代碼中進行了註釋,大家可以看下:


學會這幾個Redis技巧,讓你的程序快如閃電


Set的時候,如果是字符串或者字符數據的話,Redis會直接保存起來(字符串內部機制也是保存二進制),如果是其他類型,會默認進行json序列化然後再保存起來。

Get的時候,如果是字符串或者字符數據會直接獲取,如果是其他類型會進行json反序列化。

Set第三個參數過期時間單位是秒。

vs調試小技巧,按F5或者直接工具欄“啟動”會編譯整個解決方案會很慢(VS默認),可以選中項目然後右鍵菜單選擇調試->啟動新實例,會只編譯將會用到的項目,這樣對調試來說會快很多。

大家運行調試後可以看到控制檯輸出的內容:向右的箭頭=》是ic.Log=XTrace.Log輸出的日誌。


"

來源:https://dwz.cn/RseclNiY


一、Redis封裝架構講解

實際上NewLife.Redis是一個完整的Redis協議功能的實現,但是Redis的核心功能並沒有在這裡面,而是在NewLife.Core裡面。

這裡可以打開看一下,NewLife.Core裡面有一個NewLife.Caching的命名空間,裡面有一個Redis類,裡面實現了Redis的基本功能;另一個類是RedisClient是Redis的客戶端。

Redis的核心功能就是有這兩個類實現,RedisClient代表著Redis客戶端對服務器的一個連接。Redis真正使用的時候有一個Redis連接池,裡面存放著很多個RedisClient對象。


學會這幾個Redis技巧,讓你的程序快如閃電


所以我們Redis的封裝有兩層,一層是NewLife.Core裡面的Redis以及RedisClient;另一層就是NewLife.Redis。這裡面的FullRedis是對Redis的實現了Redis的所有的高級功能。

這裡你也可以認為NewLife.Redis是Redis的一個擴展。

二、Test實例講解Redis的基本使用

1、實例

打開Program.cs看下代碼:


學會這幾個Redis技巧,讓你的程序快如閃電


這裡XTrace.UseConsole();是向控制檯輸出日誌,方便調試使用查看結果。

接下來看第一個例子Test1,具體的我都在代碼中進行了註釋,大家可以看下:


學會這幾個Redis技巧,讓你的程序快如閃電


Set的時候,如果是字符串或者字符數據的話,Redis會直接保存起來(字符串內部機制也是保存二進制),如果是其他類型,會默認進行json序列化然後再保存起來。

Get的時候,如果是字符串或者字符數據會直接獲取,如果是其他類型會進行json反序列化。

Set第三個參數過期時間單位是秒。

vs調試小技巧,按F5或者直接工具欄“啟動”會編譯整個解決方案會很慢(VS默認),可以選中項目然後右鍵菜單選擇調試->啟動新實例,會只編譯將會用到的項目,這樣對調試來說會快很多。

大家運行調試後可以看到控制檯輸出的內容:向右的箭頭=》是ic.Log=XTrace.Log輸出的日誌。


學會這幾個Redis技巧,讓你的程序快如閃電


字典的使用:對象的話,需要把json全部取出來,然後轉換成對象,而字典的話,就可以直接取某個字段。

隊列是List結構實現的,上游數據太多,下游處理不過來的時候,就可以使用這個隊列。上游的數據發到隊列,然後下游慢慢的消費。另一個應用,跨語言的協同工作,比方說其他語言實現的程序往隊列裡面塞數據,然後另一種語言來進行消費處理。這種方式類似MQ的概念,雖然有點low,但是也很好用。

集合,用的比較多的是用在一個需要精確判斷的去重功能。像我們每天有三千萬訂單,這三千萬訂單可以有重複。這時候我想統計下一共有訂單,這時候直接數據庫group by是不大可能的,因為數據庫中分了十幾張表,這裡分享個實戰經驗:

比方說攬收,商家發貨了,網點要把件收回來,但是收回來之前網點不知道自己有多少貨,這時候我們做了一個功能,也就是訂單會發送到我們公司來。我們會建一個time_site的key的集合,而且集合本身有去重的功能,而且我們可以很方便的通過set.Count功能來統計數量,當件被攬收以後,我們後臺把這個件從集合中Remove掉。然後這個Set中存在的就是網點還沒有攬收的件,這時候通過Count就會知道這個網點今天還有多少件沒有攬收。實際使用中這個數量比較大,因為有幾萬個網點。

Redis中布隆過濾器,去重的,面試的時候問的比較多。

小經驗分享:

數據庫中不合法的時間處理:判斷時間中的年份是否大於2000年,如果小於2000就認為不合法;習慣大於小於號不習慣用等於號,這樣可以處理很多意外的數據;

Set的時候最好指定過期時間,防止有些需要刪除的數據我們忘記刪了;

Redis異步儘量不用,因為Redis延遲本身很小,大概在100us-200us,再一個就是Redis本身是單線程的,異步任務切換的耗時比網絡耗時還要大;

List用法:物聯網中數據上傳,量比較大時,我們可以把這些數據先放在Redis的List中,比如說一秒鐘1萬條,然後再批量取出來然後批量插入數據庫中。這時候要設置好key,可以前綴+時間,對已處理的List可以進行remove移除。

2、壓力測試

接下來看第四個例子,我們直接做壓力測試,代碼如下:

"

來源:https://dwz.cn/RseclNiY


一、Redis封裝架構講解

實際上NewLife.Redis是一個完整的Redis協議功能的實現,但是Redis的核心功能並沒有在這裡面,而是在NewLife.Core裡面。

這裡可以打開看一下,NewLife.Core裡面有一個NewLife.Caching的命名空間,裡面有一個Redis類,裡面實現了Redis的基本功能;另一個類是RedisClient是Redis的客戶端。

Redis的核心功能就是有這兩個類實現,RedisClient代表著Redis客戶端對服務器的一個連接。Redis真正使用的時候有一個Redis連接池,裡面存放著很多個RedisClient對象。


學會這幾個Redis技巧,讓你的程序快如閃電


所以我們Redis的封裝有兩層,一層是NewLife.Core裡面的Redis以及RedisClient;另一層就是NewLife.Redis。這裡面的FullRedis是對Redis的實現了Redis的所有的高級功能。

這裡你也可以認為NewLife.Redis是Redis的一個擴展。

二、Test實例講解Redis的基本使用

1、實例

打開Program.cs看下代碼:


學會這幾個Redis技巧,讓你的程序快如閃電


這裡XTrace.UseConsole();是向控制檯輸出日誌,方便調試使用查看結果。

接下來看第一個例子Test1,具體的我都在代碼中進行了註釋,大家可以看下:


學會這幾個Redis技巧,讓你的程序快如閃電


Set的時候,如果是字符串或者字符數據的話,Redis會直接保存起來(字符串內部機制也是保存二進制),如果是其他類型,會默認進行json序列化然後再保存起來。

Get的時候,如果是字符串或者字符數據會直接獲取,如果是其他類型會進行json反序列化。

Set第三個參數過期時間單位是秒。

vs調試小技巧,按F5或者直接工具欄“啟動”會編譯整個解決方案會很慢(VS默認),可以選中項目然後右鍵菜單選擇調試->啟動新實例,會只編譯將會用到的項目,這樣對調試來說會快很多。

大家運行調試後可以看到控制檯輸出的內容:向右的箭頭=》是ic.Log=XTrace.Log輸出的日誌。


學會這幾個Redis技巧,讓你的程序快如閃電


字典的使用:對象的話,需要把json全部取出來,然後轉換成對象,而字典的話,就可以直接取某個字段。

隊列是List結構實現的,上游數據太多,下游處理不過來的時候,就可以使用這個隊列。上游的數據發到隊列,然後下游慢慢的消費。另一個應用,跨語言的協同工作,比方說其他語言實現的程序往隊列裡面塞數據,然後另一種語言來進行消費處理。這種方式類似MQ的概念,雖然有點low,但是也很好用。

集合,用的比較多的是用在一個需要精確判斷的去重功能。像我們每天有三千萬訂單,這三千萬訂單可以有重複。這時候我想統計下一共有訂單,這時候直接數據庫group by是不大可能的,因為數據庫中分了十幾張表,這裡分享個實戰經驗:

比方說攬收,商家發貨了,網點要把件收回來,但是收回來之前網點不知道自己有多少貨,這時候我們做了一個功能,也就是訂單會發送到我們公司來。我們會建一個time_site的key的集合,而且集合本身有去重的功能,而且我們可以很方便的通過set.Count功能來統計數量,當件被攬收以後,我們後臺把這個件從集合中Remove掉。然後這個Set中存在的就是網點還沒有攬收的件,這時候通過Count就會知道這個網點今天還有多少件沒有攬收。實際使用中這個數量比較大,因為有幾萬個網點。

Redis中布隆過濾器,去重的,面試的時候問的比較多。

小經驗分享:

數據庫中不合法的時間處理:判斷時間中的年份是否大於2000年,如果小於2000就認為不合法;習慣大於小於號不習慣用等於號,這樣可以處理很多意外的數據;

Set的時候最好指定過期時間,防止有些需要刪除的數據我們忘記刪了;

Redis異步儘量不用,因為Redis延遲本身很小,大概在100us-200us,再一個就是Redis本身是單線程的,異步任務切換的耗時比網絡耗時還要大;

List用法:物聯網中數據上傳,量比較大時,我們可以把這些數據先放在Redis的List中,比如說一秒鐘1萬條,然後再批量取出來然後批量插入數據庫中。這時候要設置好key,可以前綴+時間,對已處理的List可以進行remove移除。

2、壓力測試

接下來看第四個例子,我們直接做壓力測試,代碼如下:

學會這幾個Redis技巧,讓你的程序快如閃電

運行的結果如下圖所示:


"

來源:https://dwz.cn/RseclNiY


一、Redis封裝架構講解

實際上NewLife.Redis是一個完整的Redis協議功能的實現,但是Redis的核心功能並沒有在這裡面,而是在NewLife.Core裡面。

這裡可以打開看一下,NewLife.Core裡面有一個NewLife.Caching的命名空間,裡面有一個Redis類,裡面實現了Redis的基本功能;另一個類是RedisClient是Redis的客戶端。

Redis的核心功能就是有這兩個類實現,RedisClient代表著Redis客戶端對服務器的一個連接。Redis真正使用的時候有一個Redis連接池,裡面存放著很多個RedisClient對象。


學會這幾個Redis技巧,讓你的程序快如閃電


所以我們Redis的封裝有兩層,一層是NewLife.Core裡面的Redis以及RedisClient;另一層就是NewLife.Redis。這裡面的FullRedis是對Redis的實現了Redis的所有的高級功能。

這裡你也可以認為NewLife.Redis是Redis的一個擴展。

二、Test實例講解Redis的基本使用

1、實例

打開Program.cs看下代碼:


學會這幾個Redis技巧,讓你的程序快如閃電


這裡XTrace.UseConsole();是向控制檯輸出日誌,方便調試使用查看結果。

接下來看第一個例子Test1,具體的我都在代碼中進行了註釋,大家可以看下:


學會這幾個Redis技巧,讓你的程序快如閃電


Set的時候,如果是字符串或者字符數據的話,Redis會直接保存起來(字符串內部機制也是保存二進制),如果是其他類型,會默認進行json序列化然後再保存起來。

Get的時候,如果是字符串或者字符數據會直接獲取,如果是其他類型會進行json反序列化。

Set第三個參數過期時間單位是秒。

vs調試小技巧,按F5或者直接工具欄“啟動”會編譯整個解決方案會很慢(VS默認),可以選中項目然後右鍵菜單選擇調試->啟動新實例,會只編譯將會用到的項目,這樣對調試來說會快很多。

大家運行調試後可以看到控制檯輸出的內容:向右的箭頭=》是ic.Log=XTrace.Log輸出的日誌。


學會這幾個Redis技巧,讓你的程序快如閃電


字典的使用:對象的話,需要把json全部取出來,然後轉換成對象,而字典的話,就可以直接取某個字段。

隊列是List結構實現的,上游數據太多,下游處理不過來的時候,就可以使用這個隊列。上游的數據發到隊列,然後下游慢慢的消費。另一個應用,跨語言的協同工作,比方說其他語言實現的程序往隊列裡面塞數據,然後另一種語言來進行消費處理。這種方式類似MQ的概念,雖然有點low,但是也很好用。

集合,用的比較多的是用在一個需要精確判斷的去重功能。像我們每天有三千萬訂單,這三千萬訂單可以有重複。這時候我想統計下一共有訂單,這時候直接數據庫group by是不大可能的,因為數據庫中分了十幾張表,這裡分享個實戰經驗:

比方說攬收,商家發貨了,網點要把件收回來,但是收回來之前網點不知道自己有多少貨,這時候我們做了一個功能,也就是訂單會發送到我們公司來。我們會建一個time_site的key的集合,而且集合本身有去重的功能,而且我們可以很方便的通過set.Count功能來統計數量,當件被攬收以後,我們後臺把這個件從集合中Remove掉。然後這個Set中存在的就是網點還沒有攬收的件,這時候通過Count就會知道這個網點今天還有多少件沒有攬收。實際使用中這個數量比較大,因為有幾萬個網點。

Redis中布隆過濾器,去重的,面試的時候問的比較多。

小經驗分享:

數據庫中不合法的時間處理:判斷時間中的年份是否大於2000年,如果小於2000就認為不合法;習慣大於小於號不習慣用等於號,這樣可以處理很多意外的數據;

Set的時候最好指定過期時間,防止有些需要刪除的數據我們忘記刪了;

Redis異步儘量不用,因為Redis延遲本身很小,大概在100us-200us,再一個就是Redis本身是單線程的,異步任務切換的耗時比網絡耗時還要大;

List用法:物聯網中數據上傳,量比較大時,我們可以把這些數據先放在Redis的List中,比如說一秒鐘1萬條,然後再批量取出來然後批量插入數據庫中。這時候要設置好key,可以前綴+時間,對已處理的List可以進行remove移除。

2、壓力測試

接下來看第四個例子,我們直接做壓力測試,代碼如下:

學會這幾個Redis技巧,讓你的程序快如閃電

運行的結果如下圖所示:


學會這幾個Redis技巧,讓你的程序快如閃電


測試就是進行get,set remove,累加等的操作。大家可以看到在我本機上輕輕鬆鬆的到了六十萬,多線程的時候甚至到了一百多萬。

為什麼會達到這麼高的Ops呢?下面給大家說一下:

Bench會分根據線程數分多組進行添刪改壓力測試;

rand參數,是否隨機產生key/value;

batch批大小,分批執行讀寫操作,藉助GetAll/SetAll進行優化。

3、Redis中NB的函數來提升性能

上面的操作如果大家都掌握了就基本算Redis入門了,接下來進行進階。如果能全然吃透,差不多就會比別人更勝一籌了。

GetAll()與SetAll()

GetAll:比方說我要取十個key,這個時候可以用getall。這時候Redis就執行了一次命令。比方說我要取10個key那麼用get的話要取10次,如果用getall的話要用1次。1次getall時間大概是get的一點幾倍,但是10次get的話就是10倍的時間,這個賬你應該會算吧?強烈推薦大家用getall。

setall跟getall相似,批量設置K-V。

setall與getall性能很恐怖,官方公佈的Ops也就10萬左右,為什麼我們的測試輕輕鬆鬆到五十萬甚至上百萬?因為我們就用了setall,getall。如果get,set兩次以上,建議用getall,setall。

Redis管道Pipeline

比如執行10次命令會打包成一個包集體發過去執行,這裡實現的方式是StartPipeline()開始,StopPipeline()結束中間的代碼就會以管道的形式執行。

這裡推薦使用更強的武器,AutoPipeline自動管道屬性。管道操作到一定數量時,自動提交,默認0。使用了AutoPipeline,就不需要StartPipeline,StopPipeline指定管道的開始結束了。

Add與Replace

Add:Redis中沒有這個Key就添加,有了就不要添加,返回false;

Replace:有則替換,還會返回原來的值,沒有則不進行操作。

Add跟Replace就是實現Redis分佈式鎖的關鍵。

三、Redis使用技巧,經驗分享

在項目的Readme中,這裡摘錄下:

1、特性

在ZTO大數據實時計算廣泛應用,200多個Redis實例穩定工作一年多,每天處理近1億包裹數據,日均調用量80億次;

低延遲,Get/Set操作平均耗時200~600us(含往返網絡通信);

大吞吐,自帶連接池,最大支持1000併發;

高性能,支持二進制序列化(默認用的json,json很低效,轉成二進制性能會提升很多)。

2、Redis經驗分享

在Linux上多實例部署,實例個數等於處理器個數,各實例最大內存直接為本機物理內存,避免單個實例內存撐爆(比方說8核心處理器,那麼就部署8個實例)。

把海量數據(10億+)根據key哈希(Crc16/Crc32)存放在多個實例上,讀寫性能成倍增長。

採用二進制序列化,而非常見的Json序列化。

合理設計每一對Key的Value大小,包括但不限於使用批量獲取,原則是讓每次網絡包控制在1.4k字節附近,減少通信次數(實際經驗幾十k,幾百k也是沒問題的)。

Redis客戶端的Get/Set操作平均耗時200~600us(含往返網絡通信),以此為參考評估網絡環境和Redis客戶端組件(達不到就看一下網絡,序列化方式等等)。

使用管道Pipeline合併一批命令。

Redis的主要性能瓶頸是序列化、網絡帶寬和內存大小,濫用時處理器也會達到瓶頸。

在此我向大家推薦一個架構學習交流圈:681065582 幫助突破J瓶頸 提升思維能力

其它可查優化技巧。

以上經驗,源自於300多個實例4T以上空間一年多穩定工作的經驗,並按照重要程度排了先後順序,可根據場景需要酌情采用。

3、緩存Redis的兄弟姐妹

Redis實現ICache接口,它的孿生兄弟MemoryCache,內存緩存,千萬級吞吐率。

各應用強烈建議使用ICache接口編碼設計,小數據時使用MemoryCache實現;數據增大(10萬)以後,改用Redis實現,不需要修改業務代碼。

四、關於一些疑問的回覆

這一Part我們會來聊聊大數據中Redis使用的經驗:

Q1:一條數據多個key怎麼設置比較合理?

A1:如果對性能要求不是很高直接用json序列化實體就好,沒必要使用字典進行存儲。

Q2:隊列跟List有什麼區別?左進右出的話用List還是用隊列比較好?

A2:隊列其實就是用List實現的,也是基於List封裝的。左進右出的話直接隊列就好。Redis的List結構比較有意思,既可以左進右出,也能右進左出。所以它既可以實現列表結構,也能隊列,還能實現棧。

Q3:存放多個字段的類性能一樣嗎?

A3:大部分場景都不會有偏差,可能對於大公司數據量比較大的場景會有些偏差。

Q4:大數據寫入到數據庫之後,比如數據到億以上的時候,統計分析、查詢這塊,能不能分享些經驗。

A4:分表分庫,拆分到一千萬以內。

Q5:CPU為何暴漲?

A5:程序員終極理念——CPU達到百分百,然後性能達到最優,儘量不要浪費。最痛恨的是——如果CPU不到百分百,性能沒法提升了,說明代碼有問題。


"

來源:https://dwz.cn/RseclNiY


一、Redis封裝架構講解

實際上NewLife.Redis是一個完整的Redis協議功能的實現,但是Redis的核心功能並沒有在這裡面,而是在NewLife.Core裡面。

這裡可以打開看一下,NewLife.Core裡面有一個NewLife.Caching的命名空間,裡面有一個Redis類,裡面實現了Redis的基本功能;另一個類是RedisClient是Redis的客戶端。

Redis的核心功能就是有這兩個類實現,RedisClient代表著Redis客戶端對服務器的一個連接。Redis真正使用的時候有一個Redis連接池,裡面存放著很多個RedisClient對象。


學會這幾個Redis技巧,讓你的程序快如閃電


所以我們Redis的封裝有兩層,一層是NewLife.Core裡面的Redis以及RedisClient;另一層就是NewLife.Redis。這裡面的FullRedis是對Redis的實現了Redis的所有的高級功能。

這裡你也可以認為NewLife.Redis是Redis的一個擴展。

二、Test實例講解Redis的基本使用

1、實例

打開Program.cs看下代碼:


學會這幾個Redis技巧,讓你的程序快如閃電


這裡XTrace.UseConsole();是向控制檯輸出日誌,方便調試使用查看結果。

接下來看第一個例子Test1,具體的我都在代碼中進行了註釋,大家可以看下:


學會這幾個Redis技巧,讓你的程序快如閃電


Set的時候,如果是字符串或者字符數據的話,Redis會直接保存起來(字符串內部機制也是保存二進制),如果是其他類型,會默認進行json序列化然後再保存起來。

Get的時候,如果是字符串或者字符數據會直接獲取,如果是其他類型會進行json反序列化。

Set第三個參數過期時間單位是秒。

vs調試小技巧,按F5或者直接工具欄“啟動”會編譯整個解決方案會很慢(VS默認),可以選中項目然後右鍵菜單選擇調試->啟動新實例,會只編譯將會用到的項目,這樣對調試來說會快很多。

大家運行調試後可以看到控制檯輸出的內容:向右的箭頭=》是ic.Log=XTrace.Log輸出的日誌。


學會這幾個Redis技巧,讓你的程序快如閃電


字典的使用:對象的話,需要把json全部取出來,然後轉換成對象,而字典的話,就可以直接取某個字段。

隊列是List結構實現的,上游數據太多,下游處理不過來的時候,就可以使用這個隊列。上游的數據發到隊列,然後下游慢慢的消費。另一個應用,跨語言的協同工作,比方說其他語言實現的程序往隊列裡面塞數據,然後另一種語言來進行消費處理。這種方式類似MQ的概念,雖然有點low,但是也很好用。

集合,用的比較多的是用在一個需要精確判斷的去重功能。像我們每天有三千萬訂單,這三千萬訂單可以有重複。這時候我想統計下一共有訂單,這時候直接數據庫group by是不大可能的,因為數據庫中分了十幾張表,這裡分享個實戰經驗:

比方說攬收,商家發貨了,網點要把件收回來,但是收回來之前網點不知道自己有多少貨,這時候我們做了一個功能,也就是訂單會發送到我們公司來。我們會建一個time_site的key的集合,而且集合本身有去重的功能,而且我們可以很方便的通過set.Count功能來統計數量,當件被攬收以後,我們後臺把這個件從集合中Remove掉。然後這個Set中存在的就是網點還沒有攬收的件,這時候通過Count就會知道這個網點今天還有多少件沒有攬收。實際使用中這個數量比較大,因為有幾萬個網點。

Redis中布隆過濾器,去重的,面試的時候問的比較多。

小經驗分享:

數據庫中不合法的時間處理:判斷時間中的年份是否大於2000年,如果小於2000就認為不合法;習慣大於小於號不習慣用等於號,這樣可以處理很多意外的數據;

Set的時候最好指定過期時間,防止有些需要刪除的數據我們忘記刪了;

Redis異步儘量不用,因為Redis延遲本身很小,大概在100us-200us,再一個就是Redis本身是單線程的,異步任務切換的耗時比網絡耗時還要大;

List用法:物聯網中數據上傳,量比較大時,我們可以把這些數據先放在Redis的List中,比如說一秒鐘1萬條,然後再批量取出來然後批量插入數據庫中。這時候要設置好key,可以前綴+時間,對已處理的List可以進行remove移除。

2、壓力測試

接下來看第四個例子,我們直接做壓力測試,代碼如下:

學會這幾個Redis技巧,讓你的程序快如閃電

運行的結果如下圖所示:


學會這幾個Redis技巧,讓你的程序快如閃電


測試就是進行get,set remove,累加等的操作。大家可以看到在我本機上輕輕鬆鬆的到了六十萬,多線程的時候甚至到了一百多萬。

為什麼會達到這麼高的Ops呢?下面給大家說一下:

Bench會分根據線程數分多組進行添刪改壓力測試;

rand參數,是否隨機產生key/value;

batch批大小,分批執行讀寫操作,藉助GetAll/SetAll進行優化。

3、Redis中NB的函數來提升性能

上面的操作如果大家都掌握了就基本算Redis入門了,接下來進行進階。如果能全然吃透,差不多就會比別人更勝一籌了。

GetAll()與SetAll()

GetAll:比方說我要取十個key,這個時候可以用getall。這時候Redis就執行了一次命令。比方說我要取10個key那麼用get的話要取10次,如果用getall的話要用1次。1次getall時間大概是get的一點幾倍,但是10次get的話就是10倍的時間,這個賬你應該會算吧?強烈推薦大家用getall。

setall跟getall相似,批量設置K-V。

setall與getall性能很恐怖,官方公佈的Ops也就10萬左右,為什麼我們的測試輕輕鬆鬆到五十萬甚至上百萬?因為我們就用了setall,getall。如果get,set兩次以上,建議用getall,setall。

Redis管道Pipeline

比如執行10次命令會打包成一個包集體發過去執行,這裡實現的方式是StartPipeline()開始,StopPipeline()結束中間的代碼就會以管道的形式執行。

這裡推薦使用更強的武器,AutoPipeline自動管道屬性。管道操作到一定數量時,自動提交,默認0。使用了AutoPipeline,就不需要StartPipeline,StopPipeline指定管道的開始結束了。

Add與Replace

Add:Redis中沒有這個Key就添加,有了就不要添加,返回false;

Replace:有則替換,還會返回原來的值,沒有則不進行操作。

Add跟Replace就是實現Redis分佈式鎖的關鍵。

三、Redis使用技巧,經驗分享

在項目的Readme中,這裡摘錄下:

1、特性

在ZTO大數據實時計算廣泛應用,200多個Redis實例穩定工作一年多,每天處理近1億包裹數據,日均調用量80億次;

低延遲,Get/Set操作平均耗時200~600us(含往返網絡通信);

大吞吐,自帶連接池,最大支持1000併發;

高性能,支持二進制序列化(默認用的json,json很低效,轉成二進制性能會提升很多)。

2、Redis經驗分享

在Linux上多實例部署,實例個數等於處理器個數,各實例最大內存直接為本機物理內存,避免單個實例內存撐爆(比方說8核心處理器,那麼就部署8個實例)。

把海量數據(10億+)根據key哈希(Crc16/Crc32)存放在多個實例上,讀寫性能成倍增長。

採用二進制序列化,而非常見的Json序列化。

合理設計每一對Key的Value大小,包括但不限於使用批量獲取,原則是讓每次網絡包控制在1.4k字節附近,減少通信次數(實際經驗幾十k,幾百k也是沒問題的)。

Redis客戶端的Get/Set操作平均耗時200~600us(含往返網絡通信),以此為參考評估網絡環境和Redis客戶端組件(達不到就看一下網絡,序列化方式等等)。

使用管道Pipeline合併一批命令。

Redis的主要性能瓶頸是序列化、網絡帶寬和內存大小,濫用時處理器也會達到瓶頸。

在此我向大家推薦一個架構學習交流圈:681065582 幫助突破J瓶頸 提升思維能力

其它可查優化技巧。

以上經驗,源自於300多個實例4T以上空間一年多穩定工作的經驗,並按照重要程度排了先後順序,可根據場景需要酌情采用。

3、緩存Redis的兄弟姐妹

Redis實現ICache接口,它的孿生兄弟MemoryCache,內存緩存,千萬級吞吐率。

各應用強烈建議使用ICache接口編碼設計,小數據時使用MemoryCache實現;數據增大(10萬)以後,改用Redis實現,不需要修改業務代碼。

四、關於一些疑問的回覆

這一Part我們會來聊聊大數據中Redis使用的經驗:

Q1:一條數據多個key怎麼設置比較合理?

A1:如果對性能要求不是很高直接用json序列化實體就好,沒必要使用字典進行存儲。

Q2:隊列跟List有什麼區別?左進右出的話用List還是用隊列比較好?

A2:隊列其實就是用List實現的,也是基於List封裝的。左進右出的話直接隊列就好。Redis的List結構比較有意思,既可以左進右出,也能右進左出。所以它既可以實現列表結構,也能隊列,還能實現棧。

Q3:存放多個字段的類性能一樣嗎?

A3:大部分場景都不會有偏差,可能對於大公司數據量比較大的場景會有些偏差。

Q4:大數據寫入到數據庫之後,比如數據到億以上的時候,統計分析、查詢這塊,能不能分享些經驗。

A4:分表分庫,拆分到一千萬以內。

Q5:CPU為何暴漲?

A5:程序員終極理念——CPU達到百分百,然後性能達到最優,儘量不要浪費。最痛恨的是——如果CPU不到百分百,性能沒法提升了,說明代碼有問題。


學會這幾個Redis技巧,讓你的程序快如閃電


雖然Redis大家會用,但是我們可能平時不會有像這樣的大數據使用場景。希望本文能夠給大家一些值得借鑑的經驗。

"

相關推薦

推薦中...