lmdb高频随机读取优秀但写入需严格控制事务大小和map_size；直接循环put()会因内存溢出触发mapfullerror或极慢，须预估总量设足够map_size、分批提交、规范key编码并实现断点续传。
LMDB 是适合高频随机读取的嵌入式键值存储，但写入时若不控制事务大小和内存使用，极易因 MapFullError 崩溃或写入极慢——这不是代码逻辑问题，而是 LMDB 的 mmap 机制和默认配置与“大量小图”场景天然冲突。
为什么直接循环 put() 会失败或极慢
LMDB 要求每个 txn（事务）在提交前全部驻留内存；对成千上万张图片（哪怕每张仅 50KB），未分批提交会导致：内存暴涨、MapFullError: MDB_MAP_FULL 报错、磁盘写入延迟堆积。同时，Python 的 lmdb 包默认 map_size=10485760（仅 10MB），远不够用。
- 务必预估总数据量：假设 5 万张图 × 平均 80KB ≈ 4GB →
map_size至少设为4 * 1024 * 1024 * 1024（再加 20% 余量） - 必须手动分批：每 1000–5000 条
put()后调用txn.commit()，并新建事务；避免单事务跨数万条 - 关闭
sync=True（默认）可提速 3–5 倍，但需接受断电可能丢最后一批数据；生产环境建议保留
正确构造 env 和 txn 的关键参数
错误的初始化是后续所有失败的根源。以下参数缺一不可：
-
map_size必须显式设置，且 ≥ 预估总字节数；不能依赖默认值 -
map_async=True可减少 mmap 同步开销（尤其大库） -
readahead=False和meminit=False对写入密集场景能降低内存压力 -
max_dbs=1（默认）够用；若需多子数据库，必须提前env.open_db()
示例初始化：
inference.sh 的 Python SDK：运行 AI 应用、构建智能体，并集成 150 多个模型。包名：inferencesh (pip install inferencesh)。支持同步/异步……
import lmdb
env = lmdb.open(
'images.lmdb',
map_size=5 * 1024 * 1024 * 1024, # 5GB
map_async=True,
readahead=False,
meminit=False,
writemap=True, # Linux 下启用写时映射，提升大库写入性能
)
图片编码与 key 设计：别用文件名原样当 key
LMDB 的 key 是字节序列，且要求严格排序（B+Tree）。直接用中文路径或含特殊字符的文件名（如 '猫.jpg'）会导致 KeyError 或遍历时乱序。更严重的是，原始 JPEG/PNG 字节流直接存为 value 没问题，但若想后续用 OpenCV 读取，必须确保无额外封装。
- key 建议用纯 ASCII：例如
os.path.basename(path).encode('ascii')，或更稳妥地用哈希（hashlib.sha256(path.encode()).digest()[:16]） - value 存原始二进制：用
cv2.imencode('.jpg', img)[1].tobytes()或直接open(path, 'rb').read()；不要 base64、不要 JSON 封装 - 避免在 key 中存尺寸/标签等元信息——应另建索引文件（如 CSV），LMDB 只做高效 blob 存储
写入过程必须带进度与异常恢复能力
写 10 万张图可能耗时数十分钟，中断后从头重来不可接受。LMDB 本身不支持断点续传，需靠外部记录已写入的 key 或文件名。
- 每次 commit 后，将最后成功写入的 key 写入临时文件（如
last_key.txt），下次启动时跳过此前所有文件 - 捕获
lmdb.MapFullError后，立即增大env.set_mapsize()并重试当前事务（注意：不能在事务中调用set_mapsize，需先abort()） - 用
with env.begin(write=True) as txn:代替手动begin()/commit()，避免忘记abort()导致环境锁死
关键片段：
with env.begin(write=True) as txn:
for i, path in enumerate(image_paths):
key = os.path.basename(path).encode('utf-8')
value = open(path, 'rb').read()
txn.put(key, value)
if i % 2000 == 0:
txn.commit()
txn = env.begin(write=True) # 新事务
txn.commit() # 末尾剩余
真正卡住的地方往往不是“怎么写”，而是没意识到 LMDB 的 map_size 是硬上限、事务是内存容器、key 的字节合法性决定能否落地——这些约束比任何 Python 语法都刚性。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
