这不是延迟加载模型，而是通过供给型接口的流量特征反向驱动领域模型按需初始化，核心是将加载时机从服务启动时移至首个真实业务请求触发时，并通过事件解耦、异步加载、领域聚合根绑定和带上下文预热等机制保障用户体验。
直接说结论：这不是“延迟加载模型”，而是通过供给型接口的流量特征，反向驱动领域模型的按需初始化——核心在于把模型加载时机从“服务启动时”挪到“首个业务请求触发时”，同时确保这个触发过程不拖慢用户体验。
识别供给型接口的典型特征
供给型接口（如商品上架、报告生成、策略配置发布）通常具备三个关键属性：调用频次低、单次耗时高、输入参数强业务语义。这类接口天然适合做模型加载的“门控开关”。比如一个海洋预警策略配置接口，每次调用都需加载 OceanAI 的时空推理子模型；但全量预热所有子模型会浪费 70%+ GPU 显存。
- 确认接口是否满足“首次调用即代表真实业务意图”——若存在大量试探性健康检查或定时轮询，需先过滤掉
- 检查入参是否含明确领域标识（如 region_code="BOHAI"、forecast_type="storm-surge"），这是后续精准加载模型的关键锚点
- 避免在 GET /health 这类无业务上下文的端点上触发加载，否则会污染冷启动指标
用领域事件解耦加载与响应
不要让 HTTP 请求线程阻塞等待模型加载完成。正确做法是：接收请求 → 解析领域标识 → 发布“LoadModelRequested”事件 → 立即返回 202 Accepted + task_id → 后台异步加载并缓存 → 加载完成后触发结果计算。
- 使用轻量级事件总线（如 Redis Streams 或 Apache Pulsar）承载模型加载指令，避免引入 Kafka 等重型组件增加启动负担
- 模型加载完成后，将实例句柄写入本地 LRU 缓存（如 Caffeine），键为 model_key = region_code + forecast_type + version
- 前端轮询 /task/{id} 获取状态，而非等待长连接——这样既释放了网关连接数，又隐藏了加载延迟
绑定 DDD 聚合根生命周期管理模型实例
把模型实例视为聚合根的“附属资源”，而非全局单例。例如，OceanAI 中的 StormSurgeForecastPolicy 聚合根创建时，自动关联一个专属的 PyTorch 模型实例；该实例随聚合根被 GC 或显式销毁而释放。
- 在聚合根构造函数中注入 ModelFactory，由工厂根据 policy.region 和 policy.resolution 决定加载哪个量化版本（INT4/FP16）
- 禁止跨聚合根共享模型实例——看似省资源，实则破坏领域边界，导致状态污染和并发冲突
- 配合 Dify 的 DIFY_MODEL_LAZY_LOAD=true 和 config.yaml 中的 preload: [] 配置，确保只有真正被引用的模型才进内存
预热要“带业务上下文”，不能空跑
很多团队用空输入触发预热，结果发现 CUDA 上下文初始化了，但模型的注意力缓存没 warm up，首请求仍卡顿。正确预热必须模拟真实业务路径。
- 在服务启动后 30 秒内，主动调用一次真实配置参数的轻量推理（如 region=BOHAI, duration=1h），强制完成 KV cache 初始化
- 预热请求走独立 endpoint（如 POST /_preload），不计入业务监控和计费，避免干扰 SLO 统计
- 记录预热耗时并上报 Prometheus，当 >800ms 时自动告警——说明模型或硬件层存在隐性瓶颈
