Redis 和 Memcached 的區別大嗎?只選一個做緩存我們該選哪個?

文章略長,覺得有收穫的朋友先收藏關注喲。說到redis就會聯想到memcached,反之亦然。今天我們就來深入探討一下兩者的區別。

瞭解過兩者的同學有那麼個大致的印象:

1、redis與memcached相比,比僅支持簡單的key-value數據類型,同時還提供list,set,zset,hash等數據結構的存儲;

2、redis支持數據的備份,即master-slave模式的數據備份;

3、redis支持數據的持久化,可以將內存中的數據保持在磁盤中,重啟的時候可以再次加載進行使用等等。

這似乎看起來redis比memcached更加牛逼一些,那麼事實上是不是這樣的呢?存在即合理,我們來根據幾個不同點來一一比較一下。

網絡IO模型

memcached是多線程,非阻塞IO複用的網絡模型,分為監聽主線程和worker子線程,監聽線程監聽網絡連接,接受請求後,將連接描述字pipe傳遞給worker線程,進行讀寫IO,網絡層使用libevent封裝的事件庫,多線程模型可以發揮多核作用,但是引入了cache coherency和鎖的問題,比如:memcached最常用的stats命令,實際memcached所有操作都要對這個全局變量加鎖,進行技術等工作,帶來了性能損耗。

redis使用單線程的IO複用模型,自己封裝了一個簡單的AeEvent事件處理框架,主要實現了epoll, kqueue和select,對於單存只有IO操作來說,單線程可以將速度優勢發揮到最大,但是redis也提供了一些簡單的計算功能,比如排序、聚合等,對於這些操作,單線程模型施加會嚴重影響整體吞吐量,CPU計算過程中,整個IO調度都是被阻塞的。

數據支持類型

memcached使用key-value形式存儲和訪問數據,在內存中維護一張巨大的HashTable,使得對數據查詢的時間複雜度降低到O(1),保證了對數據的高性能訪問。

正如開篇所說:redis與memcached相比,比僅支持簡單的key-value數據類型,同時還提供list,set,zset,hash等數據結構的存儲;詳細可以翻閱《Redis內存使用優化與存儲》

文章略長,覺得有收穫的朋友先收藏關注喲。說到redis就會聯想到memcached,反之亦然。今天我們就來深入探討一下兩者的區別。

瞭解過兩者的同學有那麼個大致的印象:

1、redis與memcached相比,比僅支持簡單的key-value數據類型,同時還提供list,set,zset,hash等數據結構的存儲;

2、redis支持數據的備份,即master-slave模式的數據備份;

3、redis支持數據的持久化,可以將內存中的數據保持在磁盤中,重啟的時候可以再次加載進行使用等等。

這似乎看起來redis比memcached更加牛逼一些,那麼事實上是不是這樣的呢?存在即合理,我們來根據幾個不同點來一一比較一下。

網絡IO模型

memcached是多線程,非阻塞IO複用的網絡模型,分為監聽主線程和worker子線程,監聽線程監聽網絡連接,接受請求後,將連接描述字pipe傳遞給worker線程,進行讀寫IO,網絡層使用libevent封裝的事件庫,多線程模型可以發揮多核作用,但是引入了cache coherency和鎖的問題,比如:memcached最常用的stats命令,實際memcached所有操作都要對這個全局變量加鎖,進行技術等工作,帶來了性能損耗。

redis使用單線程的IO複用模型,自己封裝了一個簡單的AeEvent事件處理框架,主要實現了epoll, kqueue和select,對於單存只有IO操作來說,單線程可以將速度優勢發揮到最大,但是redis也提供了一些簡單的計算功能,比如排序、聚合等,對於這些操作,單線程模型施加會嚴重影響整體吞吐量,CPU計算過程中,整個IO調度都是被阻塞的。

數據支持類型

memcached使用key-value形式存儲和訪問數據,在內存中維護一張巨大的HashTable,使得對數據查詢的時間複雜度降低到O(1),保證了對數據的高性能訪問。

正如開篇所說:redis與memcached相比,比僅支持簡單的key-value數據類型,同時還提供list,set,zset,hash等數據結構的存儲;詳細可以翻閱《Redis內存使用優化與存儲》

Redis 和 Memcached 的區別大嗎?只選一個做緩存我們該選哪個?

內存管理機制

對於像Redis和Memcached這種基於內存的數據庫系統來說,內存管理的效率高低是影響系統性能的關鍵因素。傳統C語言中的malloc/free函數是最常用的分配和釋放內存的方法,但是這種方法存在著很大的缺陷:首先,對於開發人員來說不匹配的malloc和free容易造成內存洩露;其次頻繁調用會造成大量內存碎片無法回收重新利用,降低內存利用率;最後作為系統調用,其系統開銷遠遠大於一般函數調用。所以,為了提高內存的管理效率,高效的內存管理方案都不會直接使用malloc/free調用。Redis和Memcached均使用了自身設計的內存管理機制,但是實現方法存在很大的差異,下面將會對兩者的內存管理機制分別進行介紹。

Memcached默認使用Slab Allocation機制管理內存,其主要思想是按照預先規定的大小,將分配的內存分割成特定長度的塊以存儲相應長度的key-value數據記錄,以完全解決內存碎片問題。Slab Allocation機制只為存儲外部數據而設計,也就是說所有的key-value數據都存儲在Slab Allocation系統裡,而Memcached的其它內存請求則通過普通的malloc/free來申請,因為這些請求的數量和頻率決定了它們不會對整個系統的性能造成影響Slab Allocation的原理相當簡單。 如圖所示,它首先從操作系統申請一大塊內存,並將其分割成各種尺寸的塊Chunk,並把尺寸相同的塊分成組Slab Class。其中,Chunk就是用來存儲key-value數據的最小單位。每個Slab Class的大小,可以在Memcached啟動的時候通過制定Growth Factor來控制。假定圖中Growth Factor的取值為1.25,如果第一組Chunk的大小為88個字節,第二組Chunk的大小就為112個字節,依此類推。

文章略長,覺得有收穫的朋友先收藏關注喲。說到redis就會聯想到memcached,反之亦然。今天我們就來深入探討一下兩者的區別。

瞭解過兩者的同學有那麼個大致的印象:

1、redis與memcached相比,比僅支持簡單的key-value數據類型,同時還提供list,set,zset,hash等數據結構的存儲;

2、redis支持數據的備份,即master-slave模式的數據備份;

3、redis支持數據的持久化,可以將內存中的數據保持在磁盤中,重啟的時候可以再次加載進行使用等等。

這似乎看起來redis比memcached更加牛逼一些,那麼事實上是不是這樣的呢?存在即合理,我們來根據幾個不同點來一一比較一下。

網絡IO模型

memcached是多線程,非阻塞IO複用的網絡模型,分為監聽主線程和worker子線程,監聽線程監聽網絡連接,接受請求後,將連接描述字pipe傳遞給worker線程,進行讀寫IO,網絡層使用libevent封裝的事件庫,多線程模型可以發揮多核作用,但是引入了cache coherency和鎖的問題,比如:memcached最常用的stats命令,實際memcached所有操作都要對這個全局變量加鎖,進行技術等工作,帶來了性能損耗。

redis使用單線程的IO複用模型,自己封裝了一個簡單的AeEvent事件處理框架,主要實現了epoll, kqueue和select,對於單存只有IO操作來說,單線程可以將速度優勢發揮到最大,但是redis也提供了一些簡單的計算功能,比如排序、聚合等,對於這些操作,單線程模型施加會嚴重影響整體吞吐量,CPU計算過程中,整個IO調度都是被阻塞的。

數據支持類型

memcached使用key-value形式存儲和訪問數據,在內存中維護一張巨大的HashTable,使得對數據查詢的時間複雜度降低到O(1),保證了對數據的高性能訪問。

正如開篇所說:redis與memcached相比,比僅支持簡單的key-value數據類型,同時還提供list,set,zset,hash等數據結構的存儲;詳細可以翻閱《Redis內存使用優化與存儲》

Redis 和 Memcached 的區別大嗎?只選一個做緩存我們該選哪個?

內存管理機制

對於像Redis和Memcached這種基於內存的數據庫系統來說,內存管理的效率高低是影響系統性能的關鍵因素。傳統C語言中的malloc/free函數是最常用的分配和釋放內存的方法,但是這種方法存在著很大的缺陷:首先,對於開發人員來說不匹配的malloc和free容易造成內存洩露;其次頻繁調用會造成大量內存碎片無法回收重新利用,降低內存利用率;最後作為系統調用,其系統開銷遠遠大於一般函數調用。所以,為了提高內存的管理效率,高效的內存管理方案都不會直接使用malloc/free調用。Redis和Memcached均使用了自身設計的內存管理機制,但是實現方法存在很大的差異,下面將會對兩者的內存管理機制分別進行介紹。

Memcached默認使用Slab Allocation機制管理內存,其主要思想是按照預先規定的大小,將分配的內存分割成特定長度的塊以存儲相應長度的key-value數據記錄,以完全解決內存碎片問題。Slab Allocation機制只為存儲外部數據而設計,也就是說所有的key-value數據都存儲在Slab Allocation系統裡,而Memcached的其它內存請求則通過普通的malloc/free來申請,因為這些請求的數量和頻率決定了它們不會對整個系統的性能造成影響Slab Allocation的原理相當簡單。 如圖所示,它首先從操作系統申請一大塊內存,並將其分割成各種尺寸的塊Chunk,並把尺寸相同的塊分成組Slab Class。其中,Chunk就是用來存儲key-value數據的最小單位。每個Slab Class的大小,可以在Memcached啟動的時候通過制定Growth Factor來控制。假定圖中Growth Factor的取值為1.25,如果第一組Chunk的大小為88個字節,第二組Chunk的大小就為112個字節,依此類推。

Redis 和 Memcached 的區別大嗎?只選一個做緩存我們該選哪個?

當Memcached接收到客戶端發送過來的數據時首先會根據收到數據的大小選擇一個最合適的Slab Class,然後通過查詢Memcached保存著的該Slab Class內空閒Chunk的列表就可以找到一個可用於存儲數據的Chunk。當一條數據庫過期或者丟棄時,該記錄所佔用的Chunk就可以回收,重新添加到空閒列表中。從以上過程我們可以看出Memcached的內存管理制效率高,而且不會造成內存碎片,但是它最大的缺點就是會導致空間浪費。因為每個Chunk都分配了特定長度的內存空間,所以變長數據無法充分利用這些空間。如圖 所示,將100個字節的數據緩存到128個字節的Chunk中,剩餘的28個字節就浪費掉了。

文章略長,覺得有收穫的朋友先收藏關注喲。說到redis就會聯想到memcached,反之亦然。今天我們就來深入探討一下兩者的區別。

瞭解過兩者的同學有那麼個大致的印象:

1、redis與memcached相比,比僅支持簡單的key-value數據類型,同時還提供list,set,zset,hash等數據結構的存儲;

2、redis支持數據的備份,即master-slave模式的數據備份;

3、redis支持數據的持久化,可以將內存中的數據保持在磁盤中,重啟的時候可以再次加載進行使用等等。

這似乎看起來redis比memcached更加牛逼一些,那麼事實上是不是這樣的呢?存在即合理,我們來根據幾個不同點來一一比較一下。

網絡IO模型

memcached是多線程,非阻塞IO複用的網絡模型,分為監聽主線程和worker子線程,監聽線程監聽網絡連接,接受請求後,將連接描述字pipe傳遞給worker線程,進行讀寫IO,網絡層使用libevent封裝的事件庫,多線程模型可以發揮多核作用,但是引入了cache coherency和鎖的問題,比如:memcached最常用的stats命令,實際memcached所有操作都要對這個全局變量加鎖,進行技術等工作,帶來了性能損耗。

redis使用單線程的IO複用模型,自己封裝了一個簡單的AeEvent事件處理框架,主要實現了epoll, kqueue和select,對於單存只有IO操作來說,單線程可以將速度優勢發揮到最大,但是redis也提供了一些簡單的計算功能,比如排序、聚合等,對於這些操作,單線程模型施加會嚴重影響整體吞吐量,CPU計算過程中,整個IO調度都是被阻塞的。

數據支持類型

memcached使用key-value形式存儲和訪問數據,在內存中維護一張巨大的HashTable,使得對數據查詢的時間複雜度降低到O(1),保證了對數據的高性能訪問。

正如開篇所說:redis與memcached相比,比僅支持簡單的key-value數據類型,同時還提供list,set,zset,hash等數據結構的存儲;詳細可以翻閱《Redis內存使用優化與存儲》

Redis 和 Memcached 的區別大嗎?只選一個做緩存我們該選哪個?

內存管理機制

對於像Redis和Memcached這種基於內存的數據庫系統來說,內存管理的效率高低是影響系統性能的關鍵因素。傳統C語言中的malloc/free函數是最常用的分配和釋放內存的方法,但是這種方法存在著很大的缺陷:首先,對於開發人員來說不匹配的malloc和free容易造成內存洩露;其次頻繁調用會造成大量內存碎片無法回收重新利用,降低內存利用率;最後作為系統調用,其系統開銷遠遠大於一般函數調用。所以,為了提高內存的管理效率,高效的內存管理方案都不會直接使用malloc/free調用。Redis和Memcached均使用了自身設計的內存管理機制,但是實現方法存在很大的差異,下面將會對兩者的內存管理機制分別進行介紹。

Memcached默認使用Slab Allocation機制管理內存,其主要思想是按照預先規定的大小,將分配的內存分割成特定長度的塊以存儲相應長度的key-value數據記錄,以完全解決內存碎片問題。Slab Allocation機制只為存儲外部數據而設計,也就是說所有的key-value數據都存儲在Slab Allocation系統裡,而Memcached的其它內存請求則通過普通的malloc/free來申請,因為這些請求的數量和頻率決定了它們不會對整個系統的性能造成影響Slab Allocation的原理相當簡單。 如圖所示,它首先從操作系統申請一大塊內存,並將其分割成各種尺寸的塊Chunk,並把尺寸相同的塊分成組Slab Class。其中,Chunk就是用來存儲key-value數據的最小單位。每個Slab Class的大小,可以在Memcached啟動的時候通過制定Growth Factor來控制。假定圖中Growth Factor的取值為1.25,如果第一組Chunk的大小為88個字節,第二組Chunk的大小就為112個字節,依此類推。

Redis 和 Memcached 的區別大嗎?只選一個做緩存我們該選哪個?

當Memcached接收到客戶端發送過來的數據時首先會根據收到數據的大小選擇一個最合適的Slab Class,然後通過查詢Memcached保存著的該Slab Class內空閒Chunk的列表就可以找到一個可用於存儲數據的Chunk。當一條數據庫過期或者丟棄時,該記錄所佔用的Chunk就可以回收,重新添加到空閒列表中。從以上過程我們可以看出Memcached的內存管理制效率高,而且不會造成內存碎片,但是它最大的缺點就是會導致空間浪費。因為每個Chunk都分配了特定長度的內存空間,所以變長數據無法充分利用這些空間。如圖 所示,將100個字節的數據緩存到128個字節的Chunk中,剩餘的28個字節就浪費掉了。

Redis 和 Memcached 的區別大嗎?只選一個做緩存我們該選哪個?

Redis的內存管理主要通過源碼中zmalloc.h和zmalloc.c兩個文件來實現的。Redis為了方便內存的管理,在分配一塊內存之後,會將這塊內存的大小存入內存塊的頭部。如圖所示,real_ptr是redis調用malloc後返回的指針。redis將內存塊的大小size存入頭部,size所佔據的內存大小是已知的,為size_t類型的長度,然後返回ret_ptr。當需要釋放內存的時候,ret_ptr被傳給內存管理程序。通過ret_ptr,程序可以很容易的算出real_ptr的值,然後將real_ptr傳給free釋放內存。

文章略長,覺得有收穫的朋友先收藏關注喲。說到redis就會聯想到memcached,反之亦然。今天我們就來深入探討一下兩者的區別。

瞭解過兩者的同學有那麼個大致的印象:

1、redis與memcached相比,比僅支持簡單的key-value數據類型,同時還提供list,set,zset,hash等數據結構的存儲;

2、redis支持數據的備份,即master-slave模式的數據備份;

3、redis支持數據的持久化,可以將內存中的數據保持在磁盤中,重啟的時候可以再次加載進行使用等等。

這似乎看起來redis比memcached更加牛逼一些,那麼事實上是不是這樣的呢?存在即合理,我們來根據幾個不同點來一一比較一下。

網絡IO模型

memcached是多線程,非阻塞IO複用的網絡模型,分為監聽主線程和worker子線程,監聽線程監聽網絡連接,接受請求後,將連接描述字pipe傳遞給worker線程,進行讀寫IO,網絡層使用libevent封裝的事件庫,多線程模型可以發揮多核作用,但是引入了cache coherency和鎖的問題,比如:memcached最常用的stats命令,實際memcached所有操作都要對這個全局變量加鎖,進行技術等工作,帶來了性能損耗。

redis使用單線程的IO複用模型,自己封裝了一個簡單的AeEvent事件處理框架,主要實現了epoll, kqueue和select,對於單存只有IO操作來說,單線程可以將速度優勢發揮到最大,但是redis也提供了一些簡單的計算功能,比如排序、聚合等,對於這些操作,單線程模型施加會嚴重影響整體吞吐量,CPU計算過程中,整個IO調度都是被阻塞的。

數據支持類型

memcached使用key-value形式存儲和訪問數據,在內存中維護一張巨大的HashTable,使得對數據查詢的時間複雜度降低到O(1),保證了對數據的高性能訪問。

正如開篇所說:redis與memcached相比,比僅支持簡單的key-value數據類型,同時還提供list,set,zset,hash等數據結構的存儲;詳細可以翻閱《Redis內存使用優化與存儲》

Redis 和 Memcached 的區別大嗎?只選一個做緩存我們該選哪個?

內存管理機制

對於像Redis和Memcached這種基於內存的數據庫系統來說,內存管理的效率高低是影響系統性能的關鍵因素。傳統C語言中的malloc/free函數是最常用的分配和釋放內存的方法,但是這種方法存在著很大的缺陷:首先,對於開發人員來說不匹配的malloc和free容易造成內存洩露;其次頻繁調用會造成大量內存碎片無法回收重新利用,降低內存利用率;最後作為系統調用,其系統開銷遠遠大於一般函數調用。所以,為了提高內存的管理效率,高效的內存管理方案都不會直接使用malloc/free調用。Redis和Memcached均使用了自身設計的內存管理機制,但是實現方法存在很大的差異,下面將會對兩者的內存管理機制分別進行介紹。

Memcached默認使用Slab Allocation機制管理內存,其主要思想是按照預先規定的大小,將分配的內存分割成特定長度的塊以存儲相應長度的key-value數據記錄,以完全解決內存碎片問題。Slab Allocation機制只為存儲外部數據而設計,也就是說所有的key-value數據都存儲在Slab Allocation系統裡,而Memcached的其它內存請求則通過普通的malloc/free來申請,因為這些請求的數量和頻率決定了它們不會對整個系統的性能造成影響Slab Allocation的原理相當簡單。 如圖所示,它首先從操作系統申請一大塊內存,並將其分割成各種尺寸的塊Chunk,並把尺寸相同的塊分成組Slab Class。其中,Chunk就是用來存儲key-value數據的最小單位。每個Slab Class的大小,可以在Memcached啟動的時候通過制定Growth Factor來控制。假定圖中Growth Factor的取值為1.25,如果第一組Chunk的大小為88個字節,第二組Chunk的大小就為112個字節,依此類推。

Redis 和 Memcached 的區別大嗎?只選一個做緩存我們該選哪個?

當Memcached接收到客戶端發送過來的數據時首先會根據收到數據的大小選擇一個最合適的Slab Class,然後通過查詢Memcached保存著的該Slab Class內空閒Chunk的列表就可以找到一個可用於存儲數據的Chunk。當一條數據庫過期或者丟棄時,該記錄所佔用的Chunk就可以回收,重新添加到空閒列表中。從以上過程我們可以看出Memcached的內存管理制效率高,而且不會造成內存碎片,但是它最大的缺點就是會導致空間浪費。因為每個Chunk都分配了特定長度的內存空間,所以變長數據無法充分利用這些空間。如圖 所示,將100個字節的數據緩存到128個字節的Chunk中,剩餘的28個字節就浪費掉了。

Redis 和 Memcached 的區別大嗎?只選一個做緩存我們該選哪個?

Redis的內存管理主要通過源碼中zmalloc.h和zmalloc.c兩個文件來實現的。Redis為了方便內存的管理,在分配一塊內存之後,會將這塊內存的大小存入內存塊的頭部。如圖所示,real_ptr是redis調用malloc後返回的指針。redis將內存塊的大小size存入頭部,size所佔據的內存大小是已知的,為size_t類型的長度,然後返回ret_ptr。當需要釋放內存的時候,ret_ptr被傳給內存管理程序。通過ret_ptr,程序可以很容易的算出real_ptr的值,然後將real_ptr傳給free釋放內存。

Redis 和 Memcached 的區別大嗎?只選一個做緩存我們該選哪個?

Redis通過定義一個數組來記錄所有的內存分配情況,這個數組的長度為ZMALLOC_MAX_ALLOC_STAT。數組的每一個元素代表當前程序所分配的內存塊的個數,且內存塊的大小為該元素的下標。在源碼中,這個數組為zmalloc_allocations。zmalloc_allocations[16]代表已經分配的長度為16bytes的內存塊的個數。zmalloc.c中有一個靜態變量used_memory用來記錄當前分配的內存總大小。所以,總的來看,Redis採用的是包裝的mallc/free,相較於Memcached的內存管理方法來說,要簡單很多。

在Redis中,並不是所有的數據都一直存儲在內存中的。這是和Memcached相比一個最大的區別。當物理內存用完時,Redis可以將一些很久沒用到的value交換到磁盤。Redis只會緩存所有的key的信息,如果Redis發現內存的使用量超過了某一個閥值,將觸發swap的操作,Redis根據“swappability = age*log(size_in_memory)”計算出哪些key對應的value需要swap到磁盤。然後再將這些key對應的value持久化到磁盤中,同時在內存中清除。這種特性使得Redis可以保持超過其機器本身內存大小的數據。當然,機器本身的內存必須要能夠保持所有的key,畢竟這些數據是不會進行swap操作的。同時由於Redis將內存中的數據swap到磁盤中的時候,提供服務的主線程和進行swap操作的子線程會共享這部分內存,所以如果更新需要swap的數據,Redis將阻塞這個操作,直到子線程完成swap操作後才可以進行修改。當從Redis中讀取數據的時候,如果讀取的key對應的value不在內存中,那麼Redis就需要從swap文件中加載相應數據,然後再返回給請求方。 這裡就存在一個I/O線程池的問題。在默認的情況下,Redis會出現阻塞,即完成所有的swap文件加載後才會相應。這種策略在客戶端的數量較小,進行批量操作的時候比較合適。但是如果將Redis應用在一個大型的網站應用程序中,這顯然是無法滿足大併發的情況的。所以Redis運行我們設置I/O線程池的大小,對需要從swap文件中加載相應數據的讀取請求進行併發操作,減少阻塞的時間。

Memcached使用預分配的內存池的方式,使用slab和大小不同的chunk來管理內存,Item根據大小選擇合適的chunk存儲,內存池的方式可以省去申請/釋放內存的開銷,並且能減小內存碎片產生,但這種方式也會帶來一定程度上的空間浪費,並且在內存仍然有很大空間時,新的數據也可能會被剔除,原因可以參考Timyang的文章:http://timyang.net/data/Memcached-lru-evictions/

Redis使用現場申請內存的方式來存儲數據,並且很少使用free-list等方式來優化內存分配,會在一定程度上存在內存碎片,Redis跟據存儲命令參數,會把帶過期時間的數據單獨存放在一起,並把它們稱為臨時數據,非臨時數據是永遠不會被剔除的,即便物理內存不夠,導致swap也不會剔除任何非臨時數據(但會嘗試剔除部分臨時數據),這點上Redis更適合作為存儲而不是cache。

文章略長,覺得有收穫的朋友先收藏關注喲。說到redis就會聯想到memcached,反之亦然。今天我們就來深入探討一下兩者的區別。

瞭解過兩者的同學有那麼個大致的印象:

1、redis與memcached相比,比僅支持簡單的key-value數據類型,同時還提供list,set,zset,hash等數據結構的存儲;

2、redis支持數據的備份,即master-slave模式的數據備份;

3、redis支持數據的持久化,可以將內存中的數據保持在磁盤中,重啟的時候可以再次加載進行使用等等。

這似乎看起來redis比memcached更加牛逼一些,那麼事實上是不是這樣的呢?存在即合理,我們來根據幾個不同點來一一比較一下。

網絡IO模型

memcached是多線程,非阻塞IO複用的網絡模型,分為監聽主線程和worker子線程,監聽線程監聽網絡連接,接受請求後,將連接描述字pipe傳遞給worker線程,進行讀寫IO,網絡層使用libevent封裝的事件庫,多線程模型可以發揮多核作用,但是引入了cache coherency和鎖的問題,比如:memcached最常用的stats命令,實際memcached所有操作都要對這個全局變量加鎖,進行技術等工作,帶來了性能損耗。

redis使用單線程的IO複用模型,自己封裝了一個簡單的AeEvent事件處理框架,主要實現了epoll, kqueue和select,對於單存只有IO操作來說,單線程可以將速度優勢發揮到最大,但是redis也提供了一些簡單的計算功能,比如排序、聚合等,對於這些操作,單線程模型施加會嚴重影響整體吞吐量,CPU計算過程中,整個IO調度都是被阻塞的。

數據支持類型

memcached使用key-value形式存儲和訪問數據,在內存中維護一張巨大的HashTable,使得對數據查詢的時間複雜度降低到O(1),保證了對數據的高性能訪問。

正如開篇所說:redis與memcached相比,比僅支持簡單的key-value數據類型,同時還提供list,set,zset,hash等數據結構的存儲;詳細可以翻閱《Redis內存使用優化與存儲》

Redis 和 Memcached 的區別大嗎?只選一個做緩存我們該選哪個?

內存管理機制

對於像Redis和Memcached這種基於內存的數據庫系統來說,內存管理的效率高低是影響系統性能的關鍵因素。傳統C語言中的malloc/free函數是最常用的分配和釋放內存的方法,但是這種方法存在著很大的缺陷:首先,對於開發人員來說不匹配的malloc和free容易造成內存洩露;其次頻繁調用會造成大量內存碎片無法回收重新利用,降低內存利用率;最後作為系統調用,其系統開銷遠遠大於一般函數調用。所以,為了提高內存的管理效率,高效的內存管理方案都不會直接使用malloc/free調用。Redis和Memcached均使用了自身設計的內存管理機制,但是實現方法存在很大的差異,下面將會對兩者的內存管理機制分別進行介紹。

Memcached默認使用Slab Allocation機制管理內存,其主要思想是按照預先規定的大小,將分配的內存分割成特定長度的塊以存儲相應長度的key-value數據記錄,以完全解決內存碎片問題。Slab Allocation機制只為存儲外部數據而設計,也就是說所有的key-value數據都存儲在Slab Allocation系統裡,而Memcached的其它內存請求則通過普通的malloc/free來申請,因為這些請求的數量和頻率決定了它們不會對整個系統的性能造成影響Slab Allocation的原理相當簡單。 如圖所示,它首先從操作系統申請一大塊內存,並將其分割成各種尺寸的塊Chunk,並把尺寸相同的塊分成組Slab Class。其中,Chunk就是用來存儲key-value數據的最小單位。每個Slab Class的大小,可以在Memcached啟動的時候通過制定Growth Factor來控制。假定圖中Growth Factor的取值為1.25,如果第一組Chunk的大小為88個字節,第二組Chunk的大小就為112個字節,依此類推。

Redis 和 Memcached 的區別大嗎?只選一個做緩存我們該選哪個?

當Memcached接收到客戶端發送過來的數據時首先會根據收到數據的大小選擇一個最合適的Slab Class,然後通過查詢Memcached保存著的該Slab Class內空閒Chunk的列表就可以找到一個可用於存儲數據的Chunk。當一條數據庫過期或者丟棄時,該記錄所佔用的Chunk就可以回收,重新添加到空閒列表中。從以上過程我們可以看出Memcached的內存管理制效率高,而且不會造成內存碎片,但是它最大的缺點就是會導致空間浪費。因為每個Chunk都分配了特定長度的內存空間,所以變長數據無法充分利用這些空間。如圖 所示,將100個字節的數據緩存到128個字節的Chunk中,剩餘的28個字節就浪費掉了。

Redis 和 Memcached 的區別大嗎?只選一個做緩存我們該選哪個?

Redis的內存管理主要通過源碼中zmalloc.h和zmalloc.c兩個文件來實現的。Redis為了方便內存的管理,在分配一塊內存之後,會將這塊內存的大小存入內存塊的頭部。如圖所示,real_ptr是redis調用malloc後返回的指針。redis將內存塊的大小size存入頭部,size所佔據的內存大小是已知的,為size_t類型的長度,然後返回ret_ptr。當需要釋放內存的時候,ret_ptr被傳給內存管理程序。通過ret_ptr,程序可以很容易的算出real_ptr的值,然後將real_ptr傳給free釋放內存。

Redis 和 Memcached 的區別大嗎?只選一個做緩存我們該選哪個?

Redis通過定義一個數組來記錄所有的內存分配情況,這個數組的長度為ZMALLOC_MAX_ALLOC_STAT。數組的每一個元素代表當前程序所分配的內存塊的個數,且內存塊的大小為該元素的下標。在源碼中,這個數組為zmalloc_allocations。zmalloc_allocations[16]代表已經分配的長度為16bytes的內存塊的個數。zmalloc.c中有一個靜態變量used_memory用來記錄當前分配的內存總大小。所以,總的來看,Redis採用的是包裝的mallc/free,相較於Memcached的內存管理方法來說,要簡單很多。

在Redis中,並不是所有的數據都一直存儲在內存中的。這是和Memcached相比一個最大的區別。當物理內存用完時,Redis可以將一些很久沒用到的value交換到磁盤。Redis只會緩存所有的key的信息,如果Redis發現內存的使用量超過了某一個閥值,將觸發swap的操作,Redis根據“swappability = age*log(size_in_memory)”計算出哪些key對應的value需要swap到磁盤。然後再將這些key對應的value持久化到磁盤中,同時在內存中清除。這種特性使得Redis可以保持超過其機器本身內存大小的數據。當然,機器本身的內存必須要能夠保持所有的key,畢竟這些數據是不會進行swap操作的。同時由於Redis將內存中的數據swap到磁盤中的時候,提供服務的主線程和進行swap操作的子線程會共享這部分內存,所以如果更新需要swap的數據,Redis將阻塞這個操作,直到子線程完成swap操作後才可以進行修改。當從Redis中讀取數據的時候,如果讀取的key對應的value不在內存中,那麼Redis就需要從swap文件中加載相應數據,然後再返回給請求方。 這裡就存在一個I/O線程池的問題。在默認的情況下,Redis會出現阻塞,即完成所有的swap文件加載後才會相應。這種策略在客戶端的數量較小,進行批量操作的時候比較合適。但是如果將Redis應用在一個大型的網站應用程序中,這顯然是無法滿足大併發的情況的。所以Redis運行我們設置I/O線程池的大小,對需要從swap文件中加載相應數據的讀取請求進行併發操作,減少阻塞的時間。

Memcached使用預分配的內存池的方式,使用slab和大小不同的chunk來管理內存,Item根據大小選擇合適的chunk存儲,內存池的方式可以省去申請/釋放內存的開銷,並且能減小內存碎片產生,但這種方式也會帶來一定程度上的空間浪費,並且在內存仍然有很大空間時,新的數據也可能會被剔除,原因可以參考Timyang的文章:http://timyang.net/data/Memcached-lru-evictions/

Redis使用現場申請內存的方式來存儲數據,並且很少使用free-list等方式來優化內存分配,會在一定程度上存在內存碎片,Redis跟據存儲命令參數,會把帶過期時間的數據單獨存放在一起,並把它們稱為臨時數據,非臨時數據是永遠不會被剔除的,即便物理內存不夠,導致swap也不會剔除任何非臨時數據(但會嘗試剔除部分臨時數據),這點上Redis更適合作為存儲而不是cache。

Redis 和 Memcached 的區別大嗎?只選一個做緩存我們該選哪個?

數據存儲及持久化

memcached不支持內存數據的持久化操作,所有的數據都以in-memory的形式存儲。

redis支持持久化操作。redis提供了兩種不同的持久化方法來講數據存儲到硬盤裡面,一種是快照(snapshotting),它可以將存在於某一時刻的所有數據都寫入硬盤裡面。另一種方法叫只追加文件(append-only file, AOF),它會在執行寫命令時,將被執行的寫命令複製到硬盤裡面。

數據一致性問題

Memcached提供了cas命令,可以保證多個併發訪問操作同一份數據的一致性問題。 Redis沒有提供cas 命令,並不能保證這點,不過Redis提供了事務的功能,可以保證一串 命令的原子性,中間不會被任何操作打斷。

集群管理不同

Memcached是全內存的數據緩衝系統,Redis雖然支持數據的持久化,但是全內存畢竟才是其高性能的本質。作為基於內存的存儲系統來說,機器物理內存的大小就是系統能夠容納的最大數據量。如果需要處理的數據量超過了單臺機器的物理內存大小,就需要構建分佈式集群來擴展存儲能力。

Memcached本身並不支持分佈式,因此只能在客戶端通過像一致性哈希這樣的分佈式算法來實現Memcached的分佈式存儲。下圖給出了Memcached的分佈式存儲實現架構。當客戶端向Memcached集群發送數據之前,首先會通過內置的分佈式算法計算出該條數據的目標節點,然後數據會直接發送到該節點上存儲。但客戶端查詢數據時,同樣要計算出查詢數據所在的節點,然後直接向該節點發送查詢請求以獲取數據。

相較於Memcached只能採用客戶端實現分佈式存儲,Redis更偏向於在服務器端構建分佈式存儲。最新版本的Redis已經支持了分佈式存儲功能。Redis Cluster是一個實現了分佈式且允許單點故障的Redis高級版本,它沒有中心節點,具有線性可伸縮的功能。Redis Cluster的分佈式存儲架構,節點與節點之間通過二進制協議進行通信,節點與客戶端之間通過ascii協議進行通信。在數據的放置策略上,Redis Cluster將整個key的數值域分成4096個哈希槽,每個節點上可以存儲一個或多個哈希槽,也就是說當前Redis Cluster支持的最大節點數就是4096。Redis Cluster使用的分佈式算法也很簡單:crc16( key ) % HASH_SLOTS_NUMBER。

為了保證單點故障下的數據可用性,Redis Cluster引入了Master節點和Slave節點。在Redis Cluster中,每個Master節點都會有對應的兩個用於冗餘的Slave節點。這樣在整個集群中,任意兩個節點的宕機都不會導致數據的不可用。當Master節點退出後,集群會自動選擇一個Slave節點成為新的Master節點。

文章略長,覺得有收穫的朋友先收藏關注喲。

相關推薦

推薦中...