Loading... > 缓存是有空间限制的,不同的情况下采用不同的**缓存淘汰策略**应对缓存满载。常见的缓存淘汰策略有三种: - 先进先出策略:FIFO(First In,First Out) - 最少使用策略 LFU(Least Frequently Used) - 最近最少使用策略 LRU (Least Recently Used) ## FIFO <div class="tip inlineBlock share"> 先进先出,如果缓存容量满,则优先移出最早加入缓存的数据;其内部可以使用队列实现 </div> ## LFU <div class="tip inlineBlock share"> 根据数据的历史访问频率来淘汰数据,其核心思想是“如果数据过去被访问多次,那么将来被访问的频率也更高” </div> ## LRU <div class="tip inlineBlock share"> 1. 目前最常用的缓存算法和设计方案之一,其移除策略为“当缓存(页)满时,优先移除最近最久未使用的数据”,优点是易于设计和使用,适用场景广泛。 2. 其实 LFU 和 LRU 的区别主要是判断的依据不一样,LFU 依据的是访问次数、LRU 依据的是多少时间没被访问。 </div> ## Redis内存淘汰策略 > Redis性能十分高,但是长期将Redis作为缓存使用,难免会遇到内存空间存储瓶颈,当Redis内存超出物理内存限制时,内存数据就会与磁盘产生频繁交换,使Redis性能急剧下降。对此,Redis在生产环境中,采用配置参数maxmemory的方式来限制内存大小。当实际存储内存超过maxmemory参数时,开发者们可以通过这几种方法--Redis内存淘汰策略,来决定如何腾出新空间继续支持读写工作。 ### 过期策略 > Redis内存过期策略分为三类,定时策略、惰性策略和定期策略。 <div class="tab-container post_tab box-shadow-wrap-lg"> <ul class="nav no-padder b-b scroll-hide" role="tablist"> <li class='nav-item active' role="presentation"><a class='nav-link active' style="" data-toggle="tab" aria-controls='tabs-a707557f77709f37db9dcf0e9c15a16b950' role="tab" data-target='#tabs-a707557f77709f37db9dcf0e9c15a16b950'>定时策略</a></li><li class='nav-item ' role="presentation"><a class='nav-link ' style="" data-toggle="tab" aria-controls='tabs-cda98648cf79a2c2b8d404b0b3b1e7f1881' role="tab" data-target='#tabs-cda98648cf79a2c2b8d404b0b3b1e7f1881'>惰性策略</a></li><li class='nav-item ' role="presentation"><a class='nav-link ' style="" data-toggle="tab" aria-controls='tabs-33e2519bc0cea2dcf1ce5471df82ae39732' role="tab" data-target='#tabs-33e2519bc0cea2dcf1ce5471df82ae39732'>定期策略</a></li> </ul> <div class="tab-content no-border"> <div role="tabpanel" id='tabs-a707557f77709f37db9dcf0e9c15a16b950' class="tab-pane fade active in"> #### 定时策略 <div class="tip inlineBlock info"> - 含义:在设置key的过期时间的同时,为该key创建一个定时器,让定时器在key的过期时间来临时,对key进行删除。 - 优点:保证内存被尽快释放,减少无效的缓存占用内存。 - 缺点:若过期key很多,删除这些key会占用很多的CPU时间,在CPU时间紧张的情况下,CPU不能把所有的时间用来做要紧的事儿,还需要花时间删除这些key。定时器的创建耗时,若为每一个设置过期时间的key创建一个定时器(将会有大量的定时器产生),性能影响严重。这就是拿时间换空间的操作。 </div> </div><div role="tabpanel" id='tabs-cda98648cf79a2c2b8d404b0b3b1e7f1881' class="tab-pane fade "> #### 惰性策略 <div class="tip inlineBlock info"> - 含义:key过期的时候不删除,每次从数据库获取key的时候去检查是否过期,若过期,则删除,返回null。 - 优点:删除操作只发生在从数据库取出key的时候发生,而且只删除当前key,所以对CPU时间的占用是比较少的,而且此时的删除是已经到了非做不可的地步。 - 缺点:若大量的key在超出超时时间后,很久一段时间内,都没有被获取过,此时的无效缓存是永久暂用在内存中的,那么可能发生内存泄漏(无用垃圾占用了大量的内存) </div> </div><div role="tabpanel" id='tabs-33e2519bc0cea2dcf1ce5471df82ae39732' class="tab-pane fade "> #### 定期策略 <div class="tip inlineBlock info"> - 含义:每隔一段时间对设置了缓存时间的key进行检测,如果可以已经失效,则从内存中删除,如果未失效,则不作任何处理。 - 优点:通过限制删除操作的时长和频率,来减少删除操作对CPU时间的占用--处理"定时删除"的缺点 定期删除过期key--处理"惰性删除"的缺点。 - 在内存友好方面,不如“定时删除”,因为是随机遍历一些key,因此存在部分key过期,但遍历key时,没有被遍历到,过期的key仍在内存中。在CPU时间友好方面,不如"惰性删除",定期删除也会暂用CPU性能消耗。 - 难点:合理设置删除操作的执行时长(每次删除执行多长时间)和执行频率(每隔多长时间做一次删除) </div> <div class="tip inlineBlock error"> 该方式不是去便利所有的ky,而是随机抽取一些key做过期检测。 </div> </div> </div> </div> ### 过期策略对持久化存储的影响 > 持久化存储,指的是将内存的缓存永久存在磁盘中。也就是说我们的AOF和RDB持久化存储方式。因为该两种方式,将内存中的数据写入磁盘,这时候就需要考虑过期缓存是否会被写入到磁盘中? <div class="tab-container post_tab box-shadow-wrap-lg"> <ul class="nav no-padder b-b scroll-hide" role="tablist"> <li class='nav-item active' role="presentation"><a class='nav-link active' style="" data-toggle="tab" aria-controls='tabs-c2b1261942d09669c50043c092b139ed220' role="tab" data-target='#tabs-c2b1261942d09669c50043c092b139ed220'>RDB持久化</a></li><li class='nav-item ' role="presentation"><a class='nav-link ' style="" data-toggle="tab" aria-controls='tabs-7fb9a45fed0ae593b2f35e213de24571771' role="tab" data-target='#tabs-7fb9a45fed0ae593b2f35e213de24571771'>AOF持久化</a></li> </ul> <div class="tab-content no-border"> <div role="tabpanel" id='tabs-c2b1261942d09669c50043c092b139ed220' class="tab-pane fade active in"> ### RDB持久化 持久化key之前,会检查是否过期,过期的key不进入RDB文件。 数据载入数据库之前,会对key先进行过期检查,如果过期,不导入数据库(主库情况)。 </div><div role="tabpanel" id='tabs-7fb9a45fed0ae593b2f35e213de24571771' class="tab-pane fade "> 当key过期后,还没有被删除,此时进行执行持久化操作(该key是不会进入aof文件的,因为没有发生修改命令)。 当key过期后,在发生删除操作时,程序会向aof文件追加一条del命令(将来的以aof文件恢复数据的时候该过期的键就会被删掉)。 > 因为AOF方式,向存储文件最佳的是Redis的操作命令,而不是具体的数据,然而RDB确是存储的安全的二进制内容。 > 重写时,会判断key是否过期,已过期的key不会重写到aof文件。 > 即使在重写时,不验证是否过期,然而追加了del命令,测试无效的key同样会被删除。判断的情况是为了防止没有加入del命令的key。 </div> </div> </div> ### Redis淘汰机制分类 根据redis.conf的配置文件中,主要分为如下六种淘汰机制。 <div class="tip inlineBlock info"> 1. volatile-lru:当内存不足以容纳新写入数据时,在设置了过期时间的键空间中,移除最近最少使用的key。 2. allkeys-lru:当内存不足以容纳新写入数据时,在键空间中,移除最近最少使用的key(这个是最常用的)。 3. volatile-lfu:当内存不足以容纳新写入数据时,在过期密集的键中,使用LFU算法进行删除key。 4. allkeys-lfu:当内存不足以容纳新写入数据时,使用LFU算法移除所有的key。 5. volatile-random:当内存不足以容纳新写入数据时,在设置了过期的键中,随机删除一个key。 6. allkeys-random:当内存不足以容纳新写入数据时,随机删除一个或者多个key。 7. volatile-ttl:当内存不足以容纳新写入数据时,在设置了过期时间的键空间中,有更早过期时间的key优先移除。 8. noeviction:当内存不足以容纳新写入数据时,新写入操作会报错。 </div> ### 内存管理配置翻译 ```properties # Set a memory usage limit to the specified amount of bytes. #将内存使用限制设置为指定的字节数。 # When the memory limit is reached Redis will try to remove keys #当达到内存限制时,Redis将尝试删除密钥 # according to the eviction policy selected (see maxmemory-policy). #根据所选的逐出策略(请参阅maxmemory策略)。 # # # If Redis can't remove keys according to the policy, or if the policy is #如果Redis不能根据策略删除密钥,或者如果策略是 # set to 'noeviction', Redis will start to reply with errors to commands #设置为“noeviction”时,Redis将开始对命令进行错误的应答 # that would use more memory, like SET, LPUSH, and so on, and will continue #这将使用更多内存,如SET、LPUSH等,并将继续 # to reply to read-only commands like GET. #回复像GET这样的只读命令。 # # # This option is usually useful when using Redis as an LRU or LFU cache, or to #当将Redis用作LRU或LFU缓存或 # set a hard memory limit for an instance (using the 'noeviction' policy). #为实例设置硬内存限制(使用“noeviction”策略)。 # # # WARNING: If you have replicas attached to an instance with maxmemory on, #警告:如果将副本附加到启用了maxmemory的实例, # the size of the output buffers needed to feed the replicas are subtracted #减去为复制副本提供数据所需的输出缓冲区的大小 # from the used memory count, so that network problems / resyncs will #从网络中重新同步使用的问题 # not trigger a loop where keys are evicted, and in turn the output #不触发一个循环,其中键被逐出,而反过来输出 # buffer of replicas is full with DELs of keys evicted triggering the deletion #复制副本的缓冲区已满,退出的密钥将触发删除 # of more keys, and so forth until the database is completely emptied. #直到数据库完全清空。 # # In short... if you have replicas attached it is suggested that you set a lower #简而言之。。。如果您附加了副本,建议您设置较低的 # limit for maxmemory so that there is some free RAM on the system for replica #限制maxmemory,以便系统上有一些可用的RAM用于复制 # output buffers (but this is not needed if the policy is 'noeviction'). #输出缓冲区(但如果策略为“noeviction”,则不需要此缓冲区)。 # maxmemory <bytes> #最大内存<字节> # MAXMEMORY POLICY: how Redis will select what to remove when maxmemory #MAXMEMORY策略:当MAXMEMORY时Redis如何选择要删除的内容 # is reached. You can select among five behaviors: #已到达。您可以从五种行为中进行选择: # # volatile-lru -> Evict using approximated LRU among the keys with an expire set. #volatile lru->在具有expire集的密钥中使用近似的lru进行逐出。 # allkeys-lru -> Evict any key using approximated LRU. #allkeys lru->使用近似的lru逐出任何键。 # volatile-lfu -> Evict using approximated LFU among the keys with an expire set. #volatile lfu->在具有expire集的密钥中使用近似的lfu进行逐出。 # allkeys-lfu -> Evict any key using approximated LFU. #allkeys lfu->使用近似的lfu逐出任何键。 # volatile-random -> Remove a random key among the ones with an expire set. #volatile random->从具有expire集的密钥中删除一个随机密钥。 # allkeys-random -> Remove a random key, any key. #allkeys random->移除一个随机键,任意键。 # volatile-ttl -> Remove the key with the nearest expire time (minor TTL) #volatile ttl->删除最接近过期时间的密钥(minor ttl) # noeviction -> Don't evict anything, just return an error on write operations. #noeviction->不要逐出任何内容,只要在写操作时返回一个错误。 # LRU means Least Recently Used #LRU表示最近最少使用 # LFU means Least Frequently Used #LFU表示使用频率最低 # Both LRU, LFU and volatile-ttl are implemented using approximated #LRU、LFU和volatile ttl都是用近似方法实现的 # randomized algorithms. #随机算法。 # Note: with any of the above policies, Redis will return an error on write #注意:如果使用上述任何策略,Redis将在写入时返回错误 # operations, when there are no suitable keys for eviction. #操作,当没有合适的钥匙驱逐。 # #At the date of writing these commands are: set setnx setex append #在编写这些命令的日期是:set setnx setex append #incr decr rpush lpush rpushx lpushx linsert lset rpoplpush sadd #增加/减少脉冲低压脉冲rpushx lpushx linsert lset RPOPPLPUSH sadd #sinter sinterstore sunion sunionstore sdiff sdiffstore zadd zincrby #sinter sinterstore sunion sunionstore sdiffstore zadd zincrby #zunionstore zinterstore hset hsetnx hmset hincrby incrby decrby #zunionstore zinterstore hset hsetnx hmset hincrby incrby递减 #getset mset msetnx exec sort #getset mset msetnx exec排序 # # # The default is: #默认值为: # # # maxmemory-policy noeviction #maxmemory策略不可用 # LRU, LFU and minimal TTL algorithms are not precise algorithms but approximated #LRU、LFU和最小TTL算法不是精确算法而是近似算法 # algorithms (in order to save memory), so you can tune it for speed or #算法(为了节省内存),所以你可以调整它的速度或 # accuracy. For default Redis will check five keys and pick the one that was #准确度。对于默认的Redis将检查五个键并选择一个 # used less recently, you can change the sample size using the following #最近使用较少,可以使用以下命令更改样本大小 # configuration directive. #配置指令。 # # # The default of 5 produces good enough results. 10 Approximates very closely #默认值为5会产生足够好的结果。10非常接近 # true LRU but costs more CPU. 3 is faster but not very accurate. #真正的外场可更换单元,但占用更多的CPU。3更快,但不是很准确。 # maxmemory-samples 5 #maxmemory示例5 # Starting from Redis 5, by default a replica will ignore its maxmemory setting #从Redis 5开始,默认情况下副本将忽略其maxmemory设置 # (unless it is promoted to master after a failover or manually). It means #(除非在故障转移后或手动升级为主节点)。意思是 # that the eviction of keys will be just handled by the master, sending the #密钥的收回将由主机处理,发送 # DEL commands to the replica as keys evict in the master side. #DEL命令在主服务器端作为密钥收回。 # # This behavior ensures that masters and replicas stay consistent, and is usually #这种行为可以确保主机和副本保持一致,并且通常 # what you want, however if your replica is writable, or you want the replica to have #但是,如果您的复制副本是可写的,或者您希望复制副本具有 # a different memory setting, and you are sure all the writes performed to the #不同的内存设置,并且您确定对 # replica are idempotent, then you may change this default (but be sure to understand #复制副本是幂等的,那么您可以更改这个默认值(但是一定要理解 # what you are doing). #你在做什么)。 # # Note that since the replica by default does not evict, it may end using more #请注意,由于复制副本在默认情况下不会逐出,它可能会使用更多 # memory than the one set via maxmemory (there are certain buffers that may #内存大于通过maxmemory设置的内存(有某些缓冲区可能 # be larger on the replica, or data structures may sometimes take more memory and so #复制副本越大,或者数据结构有时可能占用更多内存,因此 # forth). So make sure you monitor your replicas and make sure they have enough #第四)。所以一定要监控你的复制品,确保它们有足够的 # memory to never hit a real out-of-memory condition before the master hits #内存在主机命中之前永远不会遇到内存不足的情况 # the configured maxmemory setting. #配置的maxmemory设置。 # # # replica-ignore-maxmemory yes #复制副本忽略maxmemory是 ``` 最后修改:2021 年 10 月 19 日 © 来自互联网 打赏 赞赏作者 支付宝微信 赞 社会很单纯~复杂滴是人呐~谁能在乎我呀