怎样用Python脚本定时清理Redis中过期的无用缓存?

小辰同学_4543

小辰同学_4543

2026-10-30

149人浏览

原创

Redis过期键不立即释放内存,因采用惰性删除+定期抽样策略,低访问量下易积压“僵尸键”,故需脚本主动扫描(SCAN)、判断TTL==-2、分批DEL清理,辅以节流与锁机制保障安全。

怎样用python脚本定时清理redis中过期的无用缓存?

Redis 的过期键是自动清理的,但为什么还要写脚本?

因为 EXPIRE 或 SET ... EX 3600 设置的过期时间只是“标记”,Redis 采用惰性删除 + 定期抽样删除策略,并不保证过期键立刻释放内存。尤其在低访问量场景下,大量过期键可能长期滞留,导致 INFO memory 中 mem_used_human 持续偏高,而 dbX.expires 数值远大于实际活跃 key 数——这是典型的“僵尸过期键”现象。

脚本不是替代 Redis 自身机制,而是补位:主动扫描、强制驱逐、记录异常 key。

  • 只对明确标记为缓存且带过期时间的 key 模式操作(如 cache:user:*),避免误删 session 或锁类数据
  • 用 SCAN 替代 KEYS,防止阻塞主线程
  • 每次扫描限制数量(如 COUNT 100),并加短 sleep,降低 CPU 和网络抖动
  • 对返回的每个 key 调用 TTL,仅当 TTL == -2(已过期)或 TTL == -1(无过期)且业务语义上应淘汰时才 DEL

用 redis-py 写一个安全可控的扫描清理脚本

核心逻辑是分批 SCAN → 过滤模式 → TTL 判断 → 条件删除。注意不要用 redis.Redis().keys("cache:*"),那在生产环境等于自毁。

import redis
import time
import sys
<p>r = redis.Redis(host='localhost', port=6379, db=0, decode_responses=True)
cursor = 0
pattern = "cache:*"
cleaned = 0</p><p>while True:
cursor, keys = r.scan(cursor=cursor, match=pattern, count=50)
for key in keys:
ttl = r.ttl(key)</p><h1>TTL == -2 表示 key 已过期(Redis 内部已标记,但未清理)</h1><pre class="brush:php;toolbar:false;">    # TTL == -1 表示永不过期,但若业务定义该前缀下所有 key 都应有时效,可额外规则判断
    if ttl == -2:
        try:
            r.delete(key)
            cleaned += 1
        except redis.ConnectionError:
            print("Redis connection lost")
            sys.exit(1)
if cursor == 0:
    break
time.sleep(0.01)  # 防止扫描过快打满带宽

print(f"Cleaned {cleaned} expired cache keys")

这个脚本默认只处理 TTL == -2 的 key,安全边界清晰;count=50 和 time.sleep(0.01) 是关键节流点,线上压测表明单次 scan >100 或无 sleep 容易触发 Redis 的 slowlog 告警。

如何让脚本真正“定时”运行而不依赖 crontab?

crontab 启动 Python 脚本有概率重叠(比如上一次没结束,下一次又启动),导致重复删除或连接冲突。更稳的方式是用 APScheduler 做进程内调度,并加文件锁防多实例。

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac,无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启:辅助功能 + 屏幕录制权限

下载
  • 安装:pip install apscheduler
  • 用 BlockingScheduler + interval 触发器,比 crontab 更精确控制间隔(支持秒级)
  • 加 os.open(... os.O_CREAT | os.O_EXCL) 尝试创建锁文件,失败则直接退出,不抢锁、不等待
  • 任务函数里捕获 redis.ConnectionError 和 redis.TimeoutError,避免调度器崩溃

如果你的部署环境不允许额外依赖,那就用 crontab,但务必加上 flock -n /tmp/redis-clean.lock -c "python clean.py" —— -n 是非阻塞锁,失败直接跳过,比 pidfile 更可靠。

清理后发现内存没降?先查这三件事

执行完脚本,redis-cli INFO memory | grep -E "(used|peak)" 如果没变化,别急着改脚本,先确认:

  • redis-cli --stat 看实时内存波动,有些释放会延迟几秒才反映在 used_memory
  • redis-cli MEMORY USAGE some_expired_key 验证目标 key 是否真被删了(返回 (integer) 0 或报错 ERR no such key)
  • 检查是否启用了 maxmemory 和 maxmemory-policy,比如设了 allkeys-lru,Redis 可能正在后台异步淘汰,和你的脚本“打架”

最常被忽略的是:脚本删的是主库 key,但业务连的是读副本(replica),而 replica 默认不执行 DEL 命令的本地清理——它只等主从同步后自动失效。这种情况下,必须在 replica 上也跑一遍脚本,或改用 redis.Redis(..., decode_responses=True) 连接 replica 并显式调用 client.slaveof_no_one()(不推荐)或直接切到主节点操作。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python redis python脚本

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1831

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4944

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1789

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

29617

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3527

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3547

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1223

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

616

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2743

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习