Redis流式删除保证数据安全（redis流删除数据）

Redis流式删除保证数据安全

Redis是一种高性能的内存数据库，广泛用于缓存、消息队列等场景。但是，由于Redis是基于内存存储的，当内存不足时，Redis为了保证内存不被耗尽，会进行自动的内存淘汰，即删除一部分的key。这就需要我们在使用Redis时，特别注意数据的安全性，在淘汰数据时，不能将重要数据误删。本文将介绍Redis的流式删除机制，保证Redis淘汰数据时数据的安全性。

一、Redis内存淘汰

Redis主要有以下几种内存淘汰机制：

1. noeviction，表示不进行任何淘汰操作，当内存不足时，后续写入操作将会报错，这不是一种好的选择。

2. allkeys-lru，表示根据最近最少使用（LRU）算法淘汰内存中最久未被使用的key。

3. allkeys-random，表示随机选取一个key进行删除。

4. volatile-lru，表示按照触发时间依次从volatile（设置了过期时间）中的key中淘汰内存。

5. volatile-ttl，表示根据key的即将过期的时间顺序进行淘汰。

6. volatile-random，表示在volatile中随机删除一个key。

在这些机制中，allkeys-lru和volatile-lru是Redis的默认机制。

二、Redis流式删除

Redis的流式删除机制在保证内存淘汰的同时，尽可能地保证数据的安全性。它的基本思路是通过多轮遍历，逐步淘汰内存中的key。

流程如下：

1. 客户端请求删除，Redis收到请求后，立刻发回确认响应。

2. Redis遍历所有的key，将应当被删除的key打上删除标记，并将标记的key和标记的过期时间放入Redis的一个全局队列byteArray覆盖式的数据结构里面。

3. 循环地从队列byteArray头部取出一批标记的key，执行删除操作。

4. 重复步骤2和步骤3，直到队列byteArray为空。

这种流式删除机制得到了广泛应用，有的公司对于关键业务场景中的Redis实例完全禁止内存淘汰，而是只在确定该key可以被删除的情况下允许被停止使用。

三、通过redis-cli进行测试

我们可以通过redis-cli进行测试流式删除的流程。我们需要向Redis写入一些数据：

for i in {1..100000}; do redis-cli set key$i $i >/dev/null; done

然后，打开一个新的终端，执行以下操作，模拟删除操作：

redis-cli
127.0.0.1:6379> del key10000
(integer) 1

从Redis的日志中可以看出流式删除的流程：

19532:M 28 May 2022 15:06:47.601 * 1000 changes in 60 seconds. Saving...
19532:M 28 May 2022 15:06:47.602 * Background saving started by pid 16276
16276:C 28 May 2022 15:06:47.606 * DB saved on disk
16276:C 28 May 2022 15:06:47.606 * RDB: 1 MB of memory used by copy-on-write
19532:M 28 May 2022 15:06:47.702 * Background saving terminated with success
19532:M 28 May 2022 15:06:58.411 * Removing keys with EXPIRE now in progress (after 0 seconds). 1 expired keys from DB removed so far.
19532:M 28 May 2022 15:06:58.411 * Deleting keys with expire at -1: key10000 (0s)
19532:M 28 May 2022 15:06:58.411 * propalo/redis-pqueue : Mapping clientId (key10000000000) to pqueueId (0)
19532:M 28 May 2022 15:06:58.411 * propalo/redis-pqueue : Mapping clientId (key10000000001) to pqueueId (0)
19532:M 28 May 2022 15:06:58.411 * propalo/redis-pqueue : Mapping clientId (key10000000002) to pqueueId (0)
19532:M 28 May 2022 15:06:58.411 * propalo/redis-pqueue : Mapping clientId (key10000000003) to pqueueId (0)
19532:M 28 May 2022 15:06:58.411 * propalo/redis-pqueue : Mapping clientId (key10000000004) to pqueueId (0)
19532:M 28 May 2022 15:06:58.411 * propalo/redis-pqueue : Mapping clientId (key10000000005) to pqueueId (0)
19532:M 28 May 2022 15:06:58.411 * propalo/redis-pqueue : Mapping clientId (key10000000006) to pqueueId (0)
19532:M 28 May 2022 15:06:58.411 * propalo/redis-pqueue : Mapping clientId (key10000000007) to pqueueId (0)
19532:M 28 May 2022 15:06:58.411 * propalo/redis-pqueue : Mapping clientId (key10000000008) to pqueueId (0)
19532:M 28 May 2022 15:06:58.411 * propalo/redis-pqueue : Mapping clientId (key10000000009) to pqueueId (0)
19532:M 28 May 2022 15:06:58.411 * Background AOF rewrite already in progress with 0% progress
19532:M 28 May 2022 15:06:58.412 * propalo/redis-pqueue : Elapsed time : 0 ms (key10000000009)
19532:M 28 May 2022 15:06:58.412 * propalo/redis-pqueue : Elapsed time : 0 ms (key10000000008)
19532:M 28 May 2022 15:06:58.412 * propalo/redis-pqueue : Elapsed time : 0 ms (key10000000007)
19532:M 28 May 2022 15:06:58.412 * propalo/redis-pqueue : Elapsed time : 0 ms (key10000000006)
19532:M 28 May 2022 15:06:58.412 * propalo/redis-pqueue : Elapsed time : 0 ms (key10000000005)
19532:M 28 May 2022 15:06:58.412 * propalo/redis-pqueue : Elapsed time : 0 ms (key10000000004)
19532:M 28 May 2022 15:06:58.412 * propalo/redis-pqueue : Elapsed time : 0 ms (key10000000003)
19532:M 28 May 2022 15:06:58.412 * propalo/redis-pqueue : Elapsed time : 0 ms (key10000000002)
19532:M 28 May 2022 15:06:58.412 * propalo/redis-pqueue : Elapsed time : 0 ms (key10000000001)
19532:M 28 May 2022 15:06:58.412 * propalo/redis-pqueue : Elapsed time : 0 ms (key10000000000)
19532:M 28 May 2022 15:06:58.412 * Removing keys with expired objects or objects which have reached maxmemory.
19532:M 28 May 2022 15:06:58.412 * propalo/redis-pqueue : Elapsed time : 0 ms (key10000)
19532:M 28 May 2022 15:06:58.412 * propalo/redis-pqueue : flushList...
19532:M 28 May 2022 15:06:58.413 * propalo/redis-pqueue : sendPayload...
19532:M 28 May 2022 15:06:58.413 * propalo/redis-pqueue : sendPayload : pushed 1 elements
19532:M 28 May 2022 15:06:58.413 * propalo/redis-pqueue : resetExpire : 0
19532:M 28 May 2022 15:06:58.413 *