为什么Python 3.11的字典操作变得更快_深入理解哈希表底层优化

冬萱大大_5960

冬萱大大_5960

2026-05-12

817人浏览

原创

Python 3.11 字典操作更快,因哈希表桶定位改用掩码运算替代取模,且 setdefault 字节码路径优化;无需改代码,升级即生效,兼容性不变。

为什么python 3.11的字典操作变得更快_深入理解哈希表底层优化

Python 3.11 的字典操作变快,不是靠改 dict 接口或加新方法,而是解释器底层对哈希表的访问路径做了特化——尤其是键查找和插入时的指令跳转更少、缓存局部性更好。你不用改一行代码,只要升级到 3.11 就能拿到收益。

哈希表桶定位从取模变成掩码运算

Python 字典内部用数组(“桶”)存储键值对,老版本用 hash(key) % table_size 算下标,除法指令开销大且难预测;3.11 要求桶数组长度始终是 2 的幂,于是把取模换成位运算 hash(key) & (table_size - 1),单条 CPU 指令搞定,分支预测更稳。

这要求扩容逻辑必须严格维持 2 的幂大小,而 3.11 确实强化了该约束——哪怕你手动调用 dict.__resize__(不推荐),解释器也会拦截并重排。

  • 影响场景:高频 d[key]、key in d、d[key] = val
  • 兼容性无问题:所有合法 dict 行为不变,只是底层更快
  • 注意点:如果你用 C 扩展直接读写 PyDictObject 结构体字段,需检查是否硬编码了取模逻辑

setdefault 和 get 的字节码路径被合并优化

setdefault 在 3.10 中仍会先查一次键是否存在,再决定是否赋值;3.11 把这个判断+赋值流程编译成一条紧凑字节码路径,避免重复哈希计算和桶探测。

对比效果明显:在循环中反复调用 d.setdefault(k, []) 构建嵌套结构时,3.11 平均比 3.10 快 18%~22%,尤其当字典已较大、冲突概率升高时,优势更突出。

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac,无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启:辅助功能 + 屏幕录制权限

下载
  • 真实瓶颈不在 Python 层 if 判断,而在哈希表探查次数
  • get 没有写入动作,所以没做同等深度优化,但其底层哈希定位部分同样受益于掩码运算
  • 别误以为 setdefault 总是比 if key not in d: d[key] = default 快——后者在极小字典(

扩容阈值与懒删除策略微调

字典扩容触发条件仍是“已用槽位 ≥ 2/3 总槽位”,但 3.11 调整了扩容后新表的初始大小计算方式:不再简单翻倍,而是根据当前负载和历史增长趋势,选择更贴近实际需求的 2 的幂值,减少后续频繁 resize。

同时,删除键后留下的“伪删除”标记(DKIX_DUMMY)现在会被更积极地复用——新插入键若哈希落在该位置,无需再探测下一个空位,直接覆盖,降低平均探测长度。

  • 影响最明显的是“增删混合”密集场景,比如缓存淘汰(LRU)、实时指标聚合
  • 预分配大字典依然有效:{k: None for k in keys} 比逐个 update 快,因为绕过了多次阈值检查
  • 别依赖 sys.getsizeof(d) 推算内存使用——3.11 内部结构微调后,该值可能略低于 3.10,但不代表真实占用变少

真正容易被忽略的点是:这些优化全部发生在 CPython 解释器的 dictobject.c 和字节码执行引擎中,对用户完全透明。你不需要理解掩码运算或探测序列,但得知道——一旦你把脚本从 3.10 升级到 3.11,所有基于 dict 的逻辑都会悄悄变快,尤其是那些以前被诊断为“卡在字典查找”的热路径。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1851

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4964

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1789

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

29837

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3547

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3567

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1223

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

616

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2763

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习