提升agent回答质量需从数据反馈闭环、工具调用精准性、提示词结构化和评估可量化四方面入手，必须开启运行快照捕获，结合rag预过滤、业务规则硬过滤、三段式结构化prompt及llm space量化对比实现持续优化。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
提升Agent Space模型回答质量需从数据反馈闭环、工具调用精准性、提示词结构化和评估可量化四个层面切入，不能只依赖模型参数调整或加大上下文长度。
构建真实用户反馈驱动的数据飞轮
Agent上线后必须接入真实请求流，否则所有优化都是空中楼阁。在AgentLoop中，启用「运行快照自动捕获」功能，确保每次调用的系统提示词、用户输入、工具调用链、中间观察结果、最终输出全部落库。
设置触发规则：当用户点击「回答有误」或「未解决」按钮时，该条快照自动进入待分析队列；未触发但响应时间＞8秒、工具失败≥2次、生成内容含“可能”“大概”“建议您自行确认”等模糊表述的，也标记为低置信样本。
人工标注团队每周对200条低置信样本做归因分类：是Prompt缺失约束？工具描述不准确？RAG检索召回率低？还是模型幻觉未拦截？标注结果同步写入MSE治理中心的Skill版本线（Lineage），用于后续Decision判断是否降级或重写。
【必须开启运行快照捕获，关闭则无法启动任何质量迭代】
用RAG预过滤缩小工具选择空间
方法一：基于用户查询向量化匹配工具描述Embedding
将全部工具的名称、用途、输入参数格式、成功/失败返回样例统一构造成文本块，使用bge-m3模型生成Embedding存入向量库。每次用户提问前，先执行相似度检索，仅将Top-15工具注入Prompt上下文，而非全量40+工具列表。
方法二：叠加业务规则硬过滤
例如金融类查询自动屏蔽非实时行情工具；含“对比”“差异”字样的请求，强制排除单数据源工具；用户身份为HR则仅开放组织架构、考勤、薪酬类工具。规则引擎配置在MSE治理中心→技能路由策略页，修改后实时生效。
注意：RAG过滤后仍需保留1–2个兜底工具（如通用搜索、人工转接），避免因检索失败导致完全无响应。
结构化提示词设计与动态注入
第一步：拆分Prompt为三段式模板
① 角色声明区（固定）：明确Agent身份、权限边界、禁止行为（如“不可虚构政策条款”“不可承诺未开通功能”）；
② 上下文注入区（动态）：由RAG检索出的TOP3知识片段+用户历史会话摘要（最多2轮）+当前会话中已确认的关键参数（如“出发城市：杭州”“日期：2026-09-05”）；
③ 输出约束区（动态）：根据任务类型插入格式指令，查航班必须带“起飞时间/到达时间/航司/价格”四字段表格；写邮件必须含“收件人/主题/正文/附件说明”四要素，缺一不可。
第二步：禁用自由发挥式结尾
删除所有“请告诉我是否还需要其他帮助”“希望以上信息对您有帮助”类无效话术。每条输出必须以明确动作收尾：表格、链接、日历事件ID、PDF下载地址或“已提交工单，编号AL-20260902-XXXX”。
用LLM Space做版本间量化对比
在LLM Space桌面工作台中创建「回答质量」评估标准，包含四个维度：
准确性（是否事实错误/参数错位/时效过期）；
完整性（是否遗漏用户明示的关键条件）；
结构合规性（是否满足输出约束区定义的字段/格式/动作）；
冗余度（是否含无关解释、重复确认、过度谦辞）。
每次发布新Prompt或更新Skill后，选取同一组10个典型用户问题，分别运行旧版与新版，用同一标准打分。系统自动计算平均分差值——若完整性维度平均分提升＜0.3分，即判定该次变更未达有效阈值，不灰度放量。
