octop v0.9.20 不支持 harness-memory：它既非原生模块，也非标准 lm-evaluation-harness 功能，而是可能源于术语混淆、私有定制版或 mem0 误用；需通过 tare-bench 替换评估器、注入 memory hook、禁用 auto-batch 缓存等方式手动实现内存感知评估。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
Octop v0.9.20 并不内置 harness-memory 这个模块或配置项——它不是 Octop 的原生概念，也不是标准 Hugging Face lm-evaluation-harness（常被简称为 harness）的子功能。你看到的“harness-memory”大概率是以下三种情况之一：
- 混淆了术语：把 TARE-Bench 的内存生命周期压测能力（如热加载/冷加载/碎片恢复）误记为
harness-memory； - 引用了某家定制版 eval harness（比如银行或大厂内部 fork）里加的私有插件；
- 把
mem0的 memory 管理逻辑（如add()中的 metadata 归一、过期过滤、infer=False 直存路径）错当成 Octop 的配置。
所以，Octop v0.9.20 本身没有 harness-memory 设置入口，也不支持通过 config.yaml 或 CLI 参数开启该功能。
如果你实际想做的是：在 Octop 中接入带内存状态管理的评估流程
那需要手动桥接，核心是绕过 Octop 默认的单次前向 benchmark 范式，模拟真实服务中的内存行为：
-
用 TARE-Bench 替代默认 harness：Octop 支持自定义 evaluator。把
tare-bench的 runner 注册为--evaluator tare，它会自动注入冷启动延迟、上下文切换抖动、连续请求下的显存驻留率等维度； -
在 model wrapper 层注入 memory hook：比如在
octop/model.py的forward()前后插入torch.cuda.memory_allocated()和gc.collect()调用，记录每次调用前后显存差值，并写入 metrics 日志； -
禁用 Octop 的 auto-batch 缓存：默认
--batch_size=auto会预分配 KV cache，掩盖内存碎片问题。应显式设为--batch_size=1 --no-cache-kv，强制每轮重初始化 cache。
如果你实际想复现类似 mem0 的 memory-aware 推理行为
Octop 本身不提供记忆存储层，但可对接外部 memory backend：
- 在
octop/pipeline.py的generate()流程末尾，调用mem0.add(messages, user_id=..., infer=True)，让 LLM 输出参与记忆构建； - 若只想存原始消息不走 LLM，用
mem0.add(messages, infer=False)，它会跳过模型推理，直接向量化入库（注意 system role 消息会被跳过）； - 所有 metadata（如
timestamp、expiration_date）需提前归一化为 ISO 格式，否则mem0会在add()入口抛ValueError。
常见静默失效点（务必检查）
- Octop 的
--model_args不透传device_map给底层 transformers，导致多卡时 memory 分布不均——要改octop/model_loader.py的load_model()，显式加device_map="auto"； -
mem0的add()接口接受user_id顶层参数，但search()必须用filters={"user_id": "xxx"}，API 风格不对称，封装时容易漏转换； -
infer=False模式下，mem0对每条 message 的 metadata 做深拷贝，若传入的是共享 dict（如全局 config），会导致后续修改污染历史记录。
不复杂但容易忽略。
