普通 dict 在千万级字符串键时内存爆炸，因哈希表元信息开销大且长字符串未驻留导致重复堆分配；可用 sys.intern（限固定模式键）、chainmap 分片或 sqlite/duckdb 替代。
为什么普通 dict 在千万级字符串键时内存爆炸
Python 的 dict 底层用哈希表实现，每个键值对除了存实际数据，还要维护哈希值、引用计数、指针等元信息。当键全是长字符串（比如 UUID、URL、日志 trace_id），重复的字符串对象本身会大量占用堆内存——CPython 不自动对普通字符串做驻留（intern），相同内容的字符串可能被多次分配。实测 1000 万条 {'a1b2c3...': 42}（键长 32 字符），内存常超 3GB，其中近 60% 来自键字符串对象开销。
用 sys.intern 强制驻留短/固定模式字符串键
如果键符合「内容有限、模式固定」（如状态码、枚举名、API 路径模板），sys.intern() 能让相同内容只存一份对象。但注意：它不适用于动态生成或含随机部分的键（如带时间戳的 URL），否则反而因 intern 缓存污染拖慢性能。
- 必须在插入前 intern 键：
d[intern(key)] = value，不能事后补（intern返回的是新引用，原 key 还在） - 仅对 ASCII 或纯标识符安全；含 Unicode 组合字符、控制符时可能失败并抛
ValueError - 多线程下
intern是线程安全的，但别在循环里反复调用——它本身有全局锁
改用 collections.ChainMap + 小字典分片
当键无规律、无法 intern，又不想换语言时，把大 dict 拆成多个小 dict（例如按键首字母或哈希取模），再用 ChainMap 统一访问。这不减少总内存，但能显著降低单个 dict 的哈希表扩容次数和碎片率——CPython 的 dict 在 resize 时会申请 2 倍空间再拷贝，分片后每次扩容代价更小。
示例：
from collections import ChainMap
shards = [{} for _ in range(26)]
for key, val in huge_data:
idx = ord(key[0].lower()) - ord('a') # 简单分片
shards[idx % 26][key] = val
d = ChainMap(*shards)
- 分片数建议取质数（如 97、199），避免哈希分布倾斜
-
ChainMap查找是顺序遍历各子 dict，写入快、读取略慢；若读多写少，可配合 LRU cache 缓存热点 key - 别用
dict.update()合并后再查——那又回到大 dict 的内存问题
终极方案：切换到 mmap + SQLite 或 duckdb
当键值对超过 500 万且需持久化、范围查询或跨进程共享，硬扛 Python 内存不现实。SQLite 的 WAL 模式 + rowid 主键索引，或 duckdb 的列式内存映射，实际内存占用常只有原 dict 的 1/5～1/3，且支持 WHERE key LIKE 'abc%' 这类操作。
- SQLite 示例：
conn.execute("CREATE TABLE kv(k TEXT PRIMARY KEY, v BLOB)")，然后用executemany批量插入 - duckdb 更轻量：
import duckdb; conn = duckdb.connect(':memory:')，建表后直接INSERT INTO kv SELECT * FROM ... - 注意：BLOB 存值比 TEXT 省内存，尤其当 value 是序列化后的 bytes（如 msgpack）
真正棘手的不是“怎么塞进去”，而是键的语义——如果键需要模糊匹配、正则、前缀扫描，从一开始就不该用 dict，得直奔数据库方案。很多人卡在“想用纯 Python 解决”，结果调优半天不如换条路。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
