tensorflow模型推理后显存不释放主因是图缓存与引用未切断：tf.function动态输入致图缓存爆炸；模型加载后隐式持有graph引用；tf.data迭代器未耗尽残留资源；全局变量引用tensor叠加加剧问题。
TensorFlow模型推理后显存不释放，基本不是“泄漏”，而是计算图、缓存或引用没被主动切断——del model 无效，clear_session() 有时也压不住，得对症拆解。
tf.function 动态输入导致图缓存爆炸
用 @tf.function 加速推理时，TensorFlow 会为每种 input_signature（shape + dtype 组合）缓存一个独立图。如果 batch size 波动、文本长度不固定，每次请求都生成新图，旧图滞留不回收。
- 现象：
nvidia-smi显存持续上涨，len(tf.get_default_graph().get_operations())随请求线性增长 - 验证方式：加日志打印
tf.autograph.trace或检查model.signatures数量 - 解决办法：
– 强制统一签名：@tf.function(input_signature=[tf.TensorSpec(shape=[None, 224, 224, 3], dtype=tf.float32)])
– 或预处理动态输入：padding/clip 到固定 shape
– 禁用自动追踪：autograph=False（仅当确定无控制流时）
模型加载后隐式持有 Graph 引用
tf.keras.models.load_model() 或 tf.saved_model.load() 返回的对象内部绑定了 ConcreteFunction 和底层 Graph。一旦被模块级变量、类属性或闭包捕获，整个图结构就无法被 GC 回收。
- 典型错误：
MODEL = tf.keras.models.load_model("path")放在文件顶层；或self.model = load_model(...)后没做生命周期管理 -
del model只删 Python 引用，C++ 层图仍驻留 - 实操建议：
– 长周期服务中改用函数封装，每次推理前with tf.device("/CPU:0"): model = ...卸载到 CPU 再del model
– 紧跟tf.keras.backend.clear_session()
– 更彻底：用子进程隔离模型加载与推理
tf.data.Dataset 迭代器未耗尽残留资源
用 tf.data.Dataset.from_generator() 或复杂 pipeline 构建数据集时，迭代器对象（Iterator）持有图节点和设备内存引用。若只取部分 batch 就中断（如 HTTP 请求断连、异常退出），底层 CUDA kernel 和缓冲区可能卡住。
- 典型线索：
tf.data.experimental.cardinality(dataset)返回-2（unknown），且显存不降 - 必须用
try/finally保证迭代器耗尽或显式释放：it = iter(dataset); try: next(it) finally: del it - 替代方案：避免
from_generator，改用Dataset.from_tensor_slices()+map()，更易被 TensorFlow 自动管理
真正难处理的是图缓存与 Python 引用的叠加效应——比如一个全局 list 里 append 了中间 tf.Tensor，它既拖住计算图，又让 clear_session() 失效。这种地方不打日志、不看 memory_summary()，光靠重启很难定位。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
