怎样在Python中将TensorFlow模型部署为FastAPI服务-Python教程-PHP中文网

模型加载须在fastapi启动前完成，使用lifespan管理；预处理需与训练一致；响应时用.tolist()序列化张量；gpu显存设为按需分配，并校验输入shape。

怎样在python中将tensorflow模型部署为fastapi服务

模型加载必须在FastAPI启动前完成

直接在 app.post() 路由函数里调用 tf.keras.models.load_model() 会导致每次请求都重新加载——不仅慢，还会因 TensorFlow 的图机制引发线程安全问题（比如 ValueError: Tensor is not an element of this graph）。正确做法是把模型作为全局变量，在 FastAPI 实例创建前加载一次。

使用 on_event("startup") 或更推荐的 lifespan（FastAPI ≥ 0.95）管理生命周期
确保模型路径是绝对路径，避免工作目录切换导致 FileNotFoundError
加载后调用 model.predict(np.zeros(...)) 预热一次，防止首次推理卡顿

输入预处理必须与训练时完全一致

FastAPI 默认用 Pydantic 解析 JSON，但 TensorFlow 模型通常需要 np.ndarray 输入。如果训练时用了 tf.image.resize、归一化（如除以 255.0）、或 tf.keras.applications.preprocess_input，服务端必须复现相同逻辑，否则预测结果完全不可信。

python全能编程助手

SkillSub Pro - Python 题解与代码注释双功能技能功能概述SkillSub Pro - Python 题解与代码注释双功能技能是一项面向实际任务的技能，主要用于SkillSub Pro 是一个 Python 题解生成与代码注释的双功能合体技能，专为学生、算法学习者和开发者设计；✅ 一个技能，两种用途：；核心要点📝 题解模式：输入题目/题号，自动生成完整 Python 题解（含详细注释、解题思路、复杂度分析）；💬 注释模式：输入 Python 代码，自动添加详细中。它将相关步骤、

下载

别依赖客户端传来的“已归一化”数据——校验并强制重处理
图像类任务：用 PIL.Image.open() + np.array() 转换，再 tf.convert_to_tensor()，避免 dtype 不匹配（如 uint8 vs float32）
文本类任务：注意 tokenizer 的 padding、truncation 参数必须和训练时一致，否则 shape 不对会报 InvalidArgumentError

路由响应要避开 TensorFlow 张量直接 JSON 序列化

直接 return {"pred": model(input)} 会触发 TypeError: Object of type Tensor is not JSON serializable。FastAPI 的默认 JSON 响应器不识别 tf.Tensor，也不能直接用 .numpy() 返回高维数组（JSON 不支持 ndarray）。

用 tensor.numpy().tolist() 转为嵌套 Python list（适合小尺寸输出，如分类概率）
大尺寸输出（如分割 mask）建议改用 Response(content=..., media_type="application/octet-stream") 返回二进制
若需保留结构，可先用 json.dumps(..., default=lambda x: x.tolist() if hasattr(x, 'tolist') else str(x)) 自定义序列化

并发请求下要注意 GPU 显存与批处理设计

TensorFlow 默认会占用全部可见 GPU 显存，多个请求并发时可能 OOM；而 CPU 模式下又容易因单次推理太慢拖垮整个服务。这不是 FastAPI 的问题，而是模型部署层的关键约束。

启动前设 os.environ["TF_FORCE_GPU_ALLOW_GROWTH"] = "true"，让显存按需分配
用 tf.config.threading.set_intra_op_parallelism_threads(2) 控制线程数，避免 CPU 过载
不要盲目加 batch_size > 1——除非你明确做了批量推理逻辑（如收集多个请求拼 batch），否则单请求传 batch 维度反而出错

实际跑起来之后，最容易被忽略的是模型输入 shape 的隐式广播行为：比如训练时用 (None, 224, 224, 3)，但服务端忘了 expand_dims，传入 (224, 224, 3) 就会静默失败或返回错误维度。务必在预处理后加 assert len(input_tensor.shape) == 4 校验。