婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > 淺談內存耗盡后Redis會發生什么

淺談內存耗盡后Redis會發生什么

熱門標簽:日本中國地圖標注 北京400電話辦理收費標準 宿遷便宜外呼系統平臺 山東外呼銷售系統招商 超呼電話機器人 鄭州人工智能電銷機器人系統 貴州電銷卡外呼系統 十堰營銷電銷機器人哪家便宜 魔獸2青云地圖標注

前言

作為一臺服務器來說,內存并不是無限的,所以總會存在內存耗盡的情況,那么當 Redis 服務器的內存耗盡后,如果繼續執行請求命令,Redis 會如何處理呢?

內存回收

使用Redis 服務時,很多情況下某些鍵值對只會在特定的時間內有效,為了防止這種類型的數據一直占有內存,我們可以給鍵值對設置有效期。Redis 中可以通過 4 個獨立的命令來給一個鍵設置過期時間:

  • expire key ttl:將 key 值的過期時間設置為 ttl 秒。
  • pexpire key ttl:將 key 值的過期時間設置為 ttl 毫秒。
  • expireat key timestamp:將 key 值的過期時間設置為指定的 timestamp 秒數。
  • pexpireat key timestamp:將 key 值的過期時間設置為指定的 timestamp 毫秒數。

PS:不管使用哪一個命令,最終 Redis 底層都是使用 pexpireat 命令來實現的。另外,set 等命令也可以設置 key 的同時加上過期時間,這樣可以保證設值和設過期時間的原子性。

設置了有效期后,可以通過 ttlpttl 兩個命令來查詢剩余過期時間(如果未設置過期時間則下面兩個命令返回 -1,如果設置了一個非法的過期時間,則都返回 -2):

  • ttl key 返回 key 剩余過期秒數。
  • pttl key 返回 key 剩余過期的毫秒數。

過期策略

如果將一個過期的鍵刪除,我們一般都會有三種策略:

  • 定時刪除:為每個鍵設置一個定時器,一旦過期時間到了,則將鍵刪除。這種策略對內存很友好,但是對 CPU 不友好,因為每個定時器都會占用一定的 CPU 資源。
  • 惰性刪除:不管鍵有沒有過期都不主動刪除,等到每次去獲取鍵時再判斷是否過期,如果過期就刪除該鍵,否則返回鍵對應的值。這種策略對內存不夠友好,可能會浪費很多內存。
  • 定期掃描:系統每隔一段時間就定期掃描一次,發現過期的鍵就進行刪除。這種策略相對來說是上面兩種策略的折中方案,需要注意的是這個定期的頻率要結合實際情況掌控好,使用這種方案有一個缺陷就是可能會出現已經過期的鍵也被返回。

Redis 當中,其選擇的是策略 2 和策略 3 的綜合使用。不過 Redis 的定期掃描只會掃描設置了過期時間的鍵,因為設置了過期時間的鍵 Redis 會單獨存儲,所以不會出現掃描所有鍵的情況:

typedef struct redisDb {
  dict *dict; //所有的鍵值對
  dict *expires; //設置了過期時間的鍵值對
  dict *blocking_keys; //被阻塞的key,如客戶端執行BLPOP等阻塞指令時
  dict *watched_keys; //WATCHED keys
  int id; //Database ID
  //... 省略了其他屬性
} redisDb;

8 種淘汰策略

假如 Redis 當中所有的鍵都沒有過期,而且此時內存滿了,那么客戶端繼續執行 set 等命令時 Redis 會怎么處理呢?Redis 當中提供了不同的淘汰策略來處理這種場景。

首先 Redis 提供了一個參數 maxmemory 來配置 Redis 最大使用內存:

maxmemory bytes>

或者也可以通過命令 config set maxmemory 1GB 來動態修改。

如果沒有設置該參數,那么在 32 位的操作系統中 Redis 最多使用 3GB 內存,而在 64 位的操作系統中則不作限制。

Redis 中提供了 8 種淘汰策略,可以通過參數 maxmemory-policy 進行配置:

淘汰策略 說明
volatile-lru 根據 LRU 算法刪除設置了過期時間的鍵,直到騰出可用空間。如果沒有可刪除的鍵對象,且內存還是不夠用時,則報錯
allkeys-lru 根據 LRU 算法刪除所有的鍵,直到騰出可用空間。如果沒有可刪除的鍵對象,且內存還是不夠用時,則報錯
volatile-lfu 根據 LFU 算法刪除設置了過期時間的鍵,直到騰出可用空間。如果沒有可刪除的鍵對象,且內存還是不夠用時,則報錯
allkeys-lfu 根據 LFU 算法刪除所有的鍵,直到騰出可用空間。如果沒有可刪除的鍵對象,且內存還是不夠用時,則報錯
volatile-random 隨機刪除設置了過期時間的鍵,直到騰出可用空間。如果沒有可刪除的鍵對象,且內存還是不夠用時,則報錯
allkeys-random 隨機刪除所有鍵,直到騰出可用空間。如果沒有可刪除的鍵對象,且內存還是不夠用時,則報錯
volatile-ttl 根據鍵值對象的 ttl 屬性, 刪除最近將要過期數據。 如果沒有,則直接報錯
noeviction 默認策略,不作任何處理,直接報錯

PS:淘汰策略也可以直接使用命令 config set maxmemory-policy 策略> 來進行動態配置。

LRU 算法

LRU 全稱為:Least Recently Used。即:最近最長時間未被使用。這個主要針對的是使用時間。

Redis 改進后的 LRU 算法

Redis 當中,并沒有采用傳統的 LRU 算法,因為傳統的 LRU 算法存在 2 個問題:

  • 需要額外的空間進行存儲。
  • 可能存在某些 key 值使用很頻繁,但是最近沒被使用,從而被 LRU 算法刪除。

為了避免以上 2 個問題,Redis 當中對傳統的 LRU 算法進行了改造,通過抽樣的方式進行刪除。

配置文件中提供了一個屬性 maxmemory_samples 5,默認值就是 5,表示隨機抽取 5key 值,然后對這 5key 值按照 LRU 算法進行刪除,所以很明顯,key 值越大,刪除的準確度越高。

對抽樣 LRU 算法和傳統的 LRU 算法,Redis 官網當中有一個對比圖:

  • 淺灰色帶是被刪除的對象。
  • 灰色帶是未被刪除的對象。
  • 綠色是添加的對象。

左上角第一幅圖代表的是傳統 LRU 算法,可以看到,當抽樣數達到 10 個(右上角),已經和傳統的 LRU 算法非常接近了。

Redis 如何管理熱度數據

前面我們講述字符串對象時,提到了 redisObject 對象中存在一個 lru 屬性:

typedef struct redisObject {
  unsigned type:4;//對象類型(4位=0.5字節)
  unsigned encoding:4;//編碼(4位=0.5字節)
  unsigned lru:LRU_BITS;//記錄對象最后一次被應用程序訪問的時間(24位=3字節)
  int refcount;//引用計數。等于0時表示可以被垃圾回收(32位=4字節)
  void *ptr;//指向底層實際的數據存儲結構,如:SDS等(8字節)
} robj;

lru 屬性是創建對象的時候寫入,對象被訪問到時也會進行更新。正常人的思路就是最后決定要不要刪除某一個鍵肯定是用當前時間戳減去 lru,差值最大的就優先被刪除。但是 Redis 里面并不是這么做的,Redis 中維護了一個全局屬性 lru_clock,這個屬性是通過一個全局函數 serverCron 每隔 100 毫秒執行一次來更新的,記錄的是當前 unix 時間戳。

最后決定刪除的數據是通過 lru_clock 減去對象的 lru 屬性而得出的。那么為什么 Redis 要這么做呢?直接取全局時間不是更準確嗎?

這是因為這么做可以避免每次更新對象的 lru 屬性的時候可以直接取全局屬性,而不需要去調用系統函數來獲取系統時間,從而提升效率(Redis 當中有很多這種細節考慮來提升性能,可以說是對性能盡可能的優化到極致)。

不過這里還有一個問題,我們看到,redisObject 對象中的 lru 屬性只有 24 位,24 位只能存儲 194 天的時間戳大小,一旦超過 194 天之后就會重新從 0 開始計算,所以這時候就可能會出現 redisObject 對象中的 lru 屬性大于全局的 lru_clock 屬性的情況。

正因為如此,所以計算的時候也需要分為 2 種情況:

  • 當全局 lruclock > lru,則使用 lruclock - lru 得到空閑時間。
  • 當全局 lruclock lru,則使用 lruclock_max(即 194 天) - lru + lruclock 得到空閑時間。

需要注意的是,這種計算方式并不能保證抽樣的數據中一定能刪除空閑時間最長的。這是因為首先超過 194 天還不被使用的情況很少,再次只有 lruclock2 輪繼續超過 lru 屬性時,計算才會出問題。

比如對象 A 記錄的 lru1 天,而 lruclock 第二輪都到 10 天了,這時候就會導致計算結果只有 10-1=9 天,實際上應該是 194+10-1=203 天。但是這種情況可以說又是更少發生,所以說這種處理方式是可能存在刪除不準確的情況,但是本身這種算法就是一種近似的算法,所以并不會有太大影響。

LFU 算法

LFU 全稱為:Least Frequently Used。即:最近最少頻率使用,這個主要針對的是使用頻率。這個屬性也是記錄在redisObject 中的 lru 屬性內。

當我們采用 LFU 回收策略時,lru 屬性的高 16 位用來記錄訪問時間(last decrement time:ldt,單位為分鐘),低 8 位用來記錄訪問頻率(logistic counter:logc),簡稱 counter

訪問頻次遞增

LFU 計數器每個鍵只有 8 位,它能表示的最大值是 255,所以 Redis 使用的是一種基于概率的對數器來實現 counter 的遞增。r

給定一個舊的訪問頻次,當一個鍵被訪問時,counter 按以下方式遞增:

  • 提取 01 之間的隨機數 R
  • counter - 初始值(默認為 5),得到一個基礎差值,如果這個差值小于 0,則直接取 0,為了方便計算,把這個差值記為 baseval
  • 概率 P 計算公式為:1/(baseval * lfu_log_factor + 1)
  • 如果 R P 時,頻次進行遞增(counter++)。

公式中的 lfu_log_factor 稱之為對數因子,默認是 10 ,可以通過參數來進行控制:

lfu_log_factor 10

下圖就是對數因子 lfu_log_factor 和頻次 counter 增長的關系圖:

可以看到,當對數因子 lfu_log_factor100 時,大概是 10M(1000萬) 次訪問才會將訪問 counter 增長到 255,而默認的 10 也能支持到 1M(100萬) 次訪問 counter 才能達到 255 上限,這在大部分場景都是足夠滿足需求的。

訪問頻次遞減

如果訪問頻次 counter 只是一直在遞增,那么遲早會全部都到 255,也就是說 counter 一直遞增不能完全反應一個 key 的熱度的,所以當某一個 key 一段時間不被訪問之后,counter 也需要對應減少。

counter 的減少速度由參數 lfu-decay-time 進行控制,默認是 1,單位是分鐘。默認值 1 表示:N 分鐘內沒有訪問,counter 就要減 N

lfu-decay-time 1

具體算法如下:

  • 獲取當前時間戳,轉化為分鐘后取低 16 位(為了方便后續計算,這個值記為 now)。
  • 取出對象內的 lru 屬性中的高 16 位(為了方便后續計算,這個值記為 ldt)。
  • lru > now 時,默認為過了一個周期(16 位,最大 65535),則取差值 65535-ldt+now:當 lru = now 時,取差值 now-ldt(為了方便后續計算,這個差值記為 idle_time )。
  • 取出配置文件中的 lfu_decay_time 值,然后計算:idle_time / lfu_decay_time(為了方便后續計算,這個值記為num_periods)。
  • 最后將counter減少:counter - num_periods

看起來這么復雜,其實計算公式就是一句話:取出當前的時間戳和對象中的 lru 屬性進行對比,計算出當前多久沒有被訪問到,比如計算得到的結果是 100 分鐘沒有被訪問,然后再去除配置參數 lfu_decay_time,如果這個配置默認為 1也即是 100/1=100,代表 100 分鐘沒訪問,所以 counter 就減少 100

總結

本文主要介紹了 Redis 過期鍵的處理策略,以及當服務器內存不夠時 Redis8 種淘汰策略,最后介紹了 Redis 中的兩種主要的淘汰算法 LRULFU

到此這篇關于淺談內存耗盡后Redis會發生什么的文章就介紹到這了,更多相關Redis內存耗盡內容請搜索腳本之家以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持腳本之家!

您可能感興趣的文章:
  • redis內存空間效率問題的深入探究
  • redis 限制內存使用大小的實現
  • redis 使用lettuce 啟動內存泄漏錯誤的解決方案
  • 一次關于Redis內存詭異增長的排查過程實戰記錄
  • 淺談redis內存數據的持久化方式
  • 內存型數據庫Redis持久化小結
  • 降低PHP Redis內存占用
  • Redis教程(十四):內存優化介紹
  • 詳解Redis瘦身指南

標簽:楊凌 果洛 吉安 江蘇 北京 大慶 臺州 朝陽

巨人網絡通訊聲明:本文標題《淺談內存耗盡后Redis會發生什么》,本文關鍵詞  淺談,內存,耗盡,后,Redis,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《淺談內存耗盡后Redis會發生什么》相關的同類信息!
  • 本頁收集關于淺談內存耗盡后Redis會發生什么的相關信息資訊供網民參考!
  • 推薦文章
    婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av
    性感美女极品91精品| 精品乱码亚洲一区二区不卡| 国产一区亚洲一区| 国产在线视视频有精品| 老司机精品视频线观看86| 欧美a级理论片| 国模冰冰炮一区二区| 国产精品一区在线观看你懂的| 国产精品一区二区你懂的| 国产成人一区二区精品非洲| 97精品国产露脸对白| 欧美在线不卡一区| 91精品国产高清一区二区三区 | 一区二区三区四区精品在线视频| 中文字幕一区二区三区不卡在线| 亚洲欧洲综合另类| 亚洲国产成人av| 久久激情综合网| 成人av电影在线播放| 欧美日韩一级黄| 久久久国产午夜精品| 亚洲免费在线电影| 美国精品在线观看| 99久久久精品免费观看国产蜜| 欧美日韩视频在线观看一区二区三区| 日韩欧美视频一区| 一区视频在线播放| 日韩电影免费在线观看网站| 国产成人免费视频网站高清观看视频| 91亚洲大成网污www| 精品剧情v国产在线观看在线| 中文字幕国产一区| 日韩高清不卡一区二区| 大桥未久av一区二区三区中文| 国产精品国产三级国产aⅴ入口| 亚洲欧洲精品一区二区三区 | 欧美精品一区二区在线观看| 亚洲人精品午夜| 激情文学综合丁香| 精品视频在线免费| 中国av一区二区三区| 麻豆91免费看| 欧美日韩一区二区三区不卡| 国产精品美女久久久久久2018 | 国产中文字幕精品| 欧美日韩卡一卡二| 中文在线一区二区 | 国产精品久久久久久久午夜片| 日本成人在线不卡视频| 在线观看三级视频欧美| 日本一区二区三区久久久久久久久不 | 成人国产精品免费网站| 精品99一区二区| 五月婷婷激情综合| 色女孩综合影院| 国产精品福利在线播放| 国产激情91久久精品导航| 日韩美一区二区三区| 日韩专区中文字幕一区二区| 色婷婷av一区二区三区软件| 国产精品久久综合| 成人性色生活片| 国产亚洲污的网站| 国产成人啪免费观看软件| 欧美mv日韩mv国产| 久久国产麻豆精品| 欧美精品一区二区三区久久久| 奇米综合一区二区三区精品视频| 欧美丰满高潮xxxx喷水动漫| 亚洲成人你懂的| 337p亚洲精品色噜噜| 奇米色一区二区三区四区| 欧美一区二区三区在线观看视频| 日本美女一区二区| 精品国产一二三| 狠狠网亚洲精品| 久久精品免视看| av一区二区三区在线| 亚洲欧美激情在线| 欧美日韩一级二级三级| 日韩av一级电影| 欧美精品一区二区三区四区 | 亚洲精品视频在线| 欧美色网一区二区| 五月激情综合婷婷| 欧美大胆人体bbbb| 成人性生交大片免费看视频在线| 国产精品第一页第二页第三页| 色综合久久综合中文综合网| 午夜日韩在线电影| 精品国一区二区三区| 国产成人啪免费观看软件| 亚洲女同女同女同女同女同69| 欧美三级午夜理伦三级中视频| 日韩成人av影视| 国产精品视频线看| 欧美在线你懂得| 国产一区欧美日韩| 一区二区三区日韩精品视频| 日韩欧美综合一区| caoporn国产一区二区| 亚洲成人免费影院| 国产性做久久久久久| 欧美性猛交xxxx乱大交退制版| 激情久久五月天| 亚洲人成网站精品片在线观看| 欧美一区二区在线免费观看| 成人一区二区三区视频| 亚洲成人你懂的| 欧美国产精品一区| 欧美一级视频精品观看| 99精品视频一区| 精品一区二区三区在线观看 | 国产乱人伦偷精品视频免下载 | 日韩视频中午一区| 色综合天天狠狠| 国产福利91精品| 日本欧美肥老太交大片| 一区二区三区欧美| 久久久久九九视频| 欧美一级高清大全免费观看| 91国产免费观看| 风间由美一区二区av101| 蜜桃视频一区二区三区| 亚洲一区二区三区在线看| 国产精品国产三级国产aⅴ无密码| 日韩免费电影一区| 欧美一级搡bbbb搡bbbb| 欧美日韩在线电影| 欧美亚洲自拍偷拍| 91蜜桃传媒精品久久久一区二区| 国产精品亚洲午夜一区二区三区| 日日摸夜夜添夜夜添亚洲女人| 一区二区欧美国产| 亚洲欧美一区二区不卡| 中文字幕在线不卡视频| 国产色爱av资源综合区| 久久老女人爱爱| xfplay精品久久| 亚洲成a人v欧美综合天堂| 91国偷自产一区二区开放时间| 国产成人精品一区二| 99久久伊人网影院| 激情图片小说一区| 亚洲人成7777| 亚洲第一电影网| 欧洲中文字幕精品| 亚洲综合丁香婷婷六月香| 亚洲视频狠狠干| 亚洲天堂福利av| 国产精品国产自产拍高清av| 国产精品理论在线观看| 亚洲精品欧美综合四区| 亚洲综合视频网| 午夜日韩在线电影| 老司机精品视频线观看86| 国内外成人在线| 成人午夜免费电影| 99久久精品国产毛片| 欧美色手机在线观看| 日韩亚洲欧美在线观看| 久久免费精品国产久精品久久久久| 久久久久久久久久久久久久久99 | 欧美日韩一级黄| 欧美一卡二卡在线| 久久久精品免费网站| 日韩理论电影院| 亚洲国产欧美另类丝袜| 久久国产乱子精品免费女| 成人午夜视频福利| 欧美丝袜丝交足nylons| 精品国产乱码久久久久久牛牛| 中文字幕高清不卡| 亚洲影视在线观看| 精品一区二区三区香蕉蜜桃| 成人av资源站| 91精品麻豆日日躁夜夜躁| 久久久精品一品道一区| 亚洲欧美日韩国产另类专区| 麻豆成人综合网| 在线观看不卡一区| 久久久久久99久久久精品网站| 亚洲午夜一区二区| 国产福利精品一区二区| 精品视频免费看| 国产精品久久777777| 免费的国产精品| 色婷婷精品大在线视频| 国产丝袜欧美中文另类| 亚洲成av人综合在线观看| 国产福利91精品一区| 欧美一二三在线| 亚洲va欧美va人人爽| 国产精品中文字幕日韩精品| 69堂国产成人免费视频| 亚洲免费观看高清完整版在线观看 | 国产麻豆一精品一av一免费 | 国产69精品一区二区亚洲孕妇| 欧美日韩精品欧美日韩精品一 | 欧美一区二区三区电影|