Redis内存碎片处理实例详解
Redis作为高性能的内存数据库，广泛应用于缓存、会话存储等场景。在实际运行过程中，随着数据的不断写入、修改和删除，Redis实例可能会出现内存碎片问题，导致实际使用的内存远小于操作系统分配的内存，甚至引发内存浪费、性能下降等情况。本文将详细介绍Redis内存碎片的成因、检测方法以及处理方案，并结合实际实例进行演示。
一、Redis内存碎片成因
Redis内存碎片主要由以下原因导致：
频繁的数据修改与删除：当键值对被修改或删除后，Redis释放的内存空间可能无法被后续写入的数据完全利用，形成不连续的小块空闲内存。
内存分配器特性：Redis默认使用jemalloc作为内存分配器，jemalloc为了提升分配效率，会按照固定的大小分级分配内存，当数据大小与分配的内存块大小不匹配时，就会产生碎片。
大对象操作：频繁写入和删除大尺寸的键值对，更容易导致内存空间的不连续，加剧碎片问题。
二、内存碎片检测方法
我们可以通过Redis自带的命令来检测内存碎片情况，最常用的命令是INFO memory，该命令会返回Redis内存相关的详细信息，其中mem_fragmentation_ratio字段就是内存碎片率。
内存碎片率的计算公式为：内存碎片率 = 操作系统分配的内存 / Redis实际使用的内存。通常来说：
碎片率在1~1.5之间属于正常范围，不需要特殊处理。
碎片率大于1.5时，说明碎片较多，需要考虑处理。
碎片率小于1时，说明Redis使用的内存超过了操作系统分配的内存，可能是部分数据被交换到了磁盘，会影响性能。
执行以下命令查看内存信息：
redis-cli INFO memory
命令返回结果中的关键字段示例：
used_memory:1048576 # Redis实际存储数据使用的内存，单位字节 used_memory_rss:1572864 # 操作系统分配给Redis进程的内存，单位字节 mem_fragmentation_ratio:1.5 # 内存碎片率
三、内存碎片处理方案
3.1 主动碎片整理
Redis 4.0及以上版本提供了主动碎片整理功能，可以在运行时对内存碎片进行整理，无需重启实例。开启主动碎片整理需要修改Redis配置文件或者在运行时动态设置配置参数。
核心相关配置参数说明：
| 参数名称 | 含义 | 默认值 |
|---|---|---|
| activedefrag | 是否开启主动碎片整理，yes为开启，no为关闭 | no |
| active-defrag-ignore-bytes | 内存碎片整理的最小内存碎片大小，当碎片字节数超过该值时才会触发整理 | 100mb |
| active-defrag-threshold-lower | 触发碎片整理的最低碎片率，低于该值不会整理 | 10 |
| active-defrag-threshold-upper | 碎片率达到该值时，会以最大力度进行整理 | 100 |
| active-defrag-cycle-min | 碎片整理占用CPU的最小百分比 | 1 |
| active-defrag-cycle-max | 碎片整理占用CPU的最大百分比，避免影响Redis正常服务 | 25 |
运行时动态开启主动碎片整理的命令示例：
# 开启主动碎片整理 redis-cli CONFIG SET activedefrag yes # 设置触发整理的最小碎片率为15（即1.15） redis-cli CONFIG SET active-defrag-threshold-lower 15 # 设置碎片率达到50（即1.5）时最大力度整理 redis-cli CONFIG SET active-defrag-threshold-upper 50 # 设置碎片整理占用CPU最小为5% redis-cli CONFIG SET active-defrag-cycle-min 5 # 设置碎片整理占用CPU最大为20% redis-cli CONFIG SET active-defrag-cycle-max 20
开启后可以通过以下命令查看碎片整理的状态：
redis-cli INFO stats | grep defrag
返回结果中的total_active_defrag_time表示碎片整理累计消耗的时间，current_active_defrag_cycle表示当前是否正在执行碎片整理。
3.2 重启实例（谨慎使用）
如果Redis版本较低不支持主动碎片整理，或者碎片问题非常严重，可以通过重启实例的方式重新分配内存，消除碎片。但这种方式需要先将数据持久化到磁盘，重启后再加载数据，会导致服务短暂不可用，因此需要提前做好规划，比如在主从架构中先切换主节点，再重启原来的主节点。
重启实例的操作步骤：
# 1. 触发Redis持久化，将数据保存到RDB文件 redis-cli BGSAVE # 等待BGSAVE完成，可以通过INFO persistence命令查看bgsave_in_progress是否为0 redis-cli INFO persistence | grep bgsave_in_progress # 2. 停止Redis实例 redis-cli SHUTDOWN SAVE # 3. 重新启动Redis实例，会自动加载RDB文件恢复数据 redis-server /path/to/redis.conf
四、完整实例演示
下面我们模拟一个碎片产生的场景，然后演示如何通过主动碎片整理处理碎片。
4.1 模拟碎片产生
首先启动一个Redis实例，然后执行以下脚本，频繁写入、修改和删除键值对，制造内存碎片：
import redis
import random
import string
# 连接Redis
r = redis.Redis(host='localhost', port=6379, db=0)
# 生成随机字符串
def random_str(length):
return ''.join(random.choice(string.ascii_letters + string.digits) for _ in range(length))
# 写入10000个键值对，值大小在100字节到1024字节之间
for i in range(10000):
key = f'key_{i}'
value = random_str(random.randint(100, 1024))
r.set(key, value)
# 随机删除30%的键值对
del_keys = [f'key_{i}' for i in range(10000) if random.random() < 0.3]
for key in del_keys:
r.delete(key)
# 再写入5000个大小在500字节到2048字节之间的键值对
for i in range(5000):
key = f'new_key_{i}'
value = random_str(random.randint(500, 2048))
r.set(key, value)
print('碎片模拟完成')执行完脚本后，查看当前内存碎片率：
redis-cli INFO memory | grep mem_fragmentation_ratio
此时碎片率可能会上升到1.6甚至更高，说明已经产生了较多碎片。
4.2 主动碎片整理
动态开启主动碎片整理：
redis-cli CONFIG SET activedefrag yes redis-cli CONFIG SET active-defrag-threshold-lower 15 redis-cli CONFIG SET active-defrag-threshold-upper 50 redis-cli CONFIG SET active-defrag-cycle-min 5 redis-cli CONFIG SET active-defrag-cycle-max 20
等待一段时间后，再次查看内存碎片率：
redis-cli INFO memory | grep mem_fragmentation_ratio
可以看到碎片率逐渐下降到1.5以内，说明碎片整理生效。如果需要关闭主动碎片整理，可以执行：
redis-cli CONFIG SET activedefrag no
五、注意事项
主动碎片整理会消耗一定的CPU资源，因此在业务高峰期不建议开启，可以选择在业务低峰期开启，或者调整CPU占用的最大百分比，避免影响正常服务。
不是所有的碎片都需要处理，如果碎片率在合理范围内，不需要额外操作，过度整理反而会消耗资源。
如果使用的是云服务商提供的Redis实例，部分参数可能不支持动态修改，需要参考对应服务商的文档进行操作。
定期监控Redis的内存碎片率，结合业务场景设置合理的告警阈值，及时发现和处理碎片问题。