如何利用Python的functools.lru_cache实现函数结果缓存减少重复计算?

浅丽同学_9568

浅丽同学_9568

2026-08-06

450人浏览

原创

lru_cache没生效最常见原因是参数含不可哈希类型(如list、dict),导致直接跳过缓存而非命中失败;maxsize应据调用分布调整,过小致频繁淘汰,过大引内存风险;默认参数须避免可变对象,宜用none初始化;多线程下虽线程安全但有锁开销。

如何利用python的functools.lru_cache实现函数结果缓存减少重复计算?

为什么 lru_cache 有时没生效?

缓存失效最常见原因是函数参数含不可哈希类型,比如 list、dict、set。一旦参数里出现这些,lru_cache 直接抛出 TypeError: unhashable type,根本不会缓存——不是“没生效”,而是根本启动不了。

实操建议:

Python Testing
Python Testing

Python 测试速查:运行 pytest、使用 mock/patch、参数化、fixtures、异步、覆盖率测试。

下载
  • 检查被装饰函数的所有参数类型,确保全是不可变类型(str、int、tuple、FrozenSet 等)
  • 若必须传 dict,先转成 tuple(sorted(d.items()));传 list 可转 tuple(my_list)
  • 避免在参数中混用 None 和缺失值逻辑——None 是合法哈希值,但容易和业务逻辑冲突

lru_cache(maxsize=128) 的 maxsize 设多少才合适?

默认 maxsize=128 是经验值,但实际应按调用频次和参数组合数判断。设太小导致频繁淘汰,设太大则内存占用不可控,尤其当参数本身是大对象(如长字符串、嵌套元组)时。

实操建议:

  • 先用 lru_cache(maxsize=None) 测试,配合 my_func.cache_info() 观察 hits/misses 比例和 currsize
  • 若 currsize 稳定在 20 左右,maxsize=32 就够用;若涨到 500+,需警惕参数爆炸(如多层嵌套或时间戳粒度太细)
  • 明确业务场景:查配置用 maxsize=1 即可;递归斐波那契用 maxsize=128 足够;高频路由匹配可能需要 maxsize=1024

带默认参数的函数被 lru_cache 缓存时要注意什么?

Python 函数的默认参数在定义时求值,而 lru_cache 的 key 是基于调用时的实际参数生成的。这意味着 def f(x, y=[]) 这种写法,即使你没传 y,每次调用的 y 都是同一个可变对象——缓存 key 却认为它们“相同”,导致意外复用结果。

实操建议:

  • 永远用 None 作默认值,内部再初始化:def f(x, y=None): y = y or []
  • 如果默认值依赖运行时状态(如当前时间),不要缓存整个函数,改用带时间窗口的局部缓存或手动控制
  • 检查 cache_info() 中的 misses 是否异常高——可能是默认参数引发的 key 冲突

多线程下 lru_cache 安全吗?

lru_cache 是线程安全的,内部用了 threading.RLock,但性能代价明显:每次缓存访问都带锁开销。高并发场景下,如果函数本身很快(比如纯计算

实操建议:

  • 用 timeit 对比加缓存前后在多线程下的吞吐量,别只看单线程加速比
  • 若瓶颈在锁竞争,考虑降级为 functools.cache(Python 3.9+,无 maxsize 限制但仍是线程安全)或改用 concurrent.futures.ThreadPoolExecutor + 手动 dict 缓存(需自行加锁)
  • 避免在缓存函数里做 I/O 或长时间阻塞操作——这会让锁持有太久,拖慢其他线程

缓存不是银弹,关键是确认重复调用是否真存在、参数是否稳定、以及缓存生命周期是否匹配业务节奏。盲目加 @lru_cache 可能引入隐蔽的内存泄漏或状态错乱。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1591

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

3824

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1589

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

22017

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2707

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2767

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1103

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2123

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程