本文详解如何通过提示工程优化、输入校验强化与工具封装升级，彻底解决 langchain agent 在调用邮件工具时擅自编造邮箱、忽略输入格式等规则违背问题。
本文详解如何通过提示工程优化、输入校验强化与工具封装升级，彻底解决 langchain agent 在调用邮件工具时擅自编造邮箱、忽略输入格式等规则违背问题。
在 LangChain 构建的智能体中，工具（Tool）的可靠性高度依赖于三重保障：清晰的指令约束、鲁棒的输入解析机制，以及模型对结构化意图的理解能力。您当前遇到的“代理发明邮箱”“内容丢失”“格式错乱”等问题，并非单纯由 gpt-4 模型能力不足导致，而是提示设计、工具接口与执行链路协同缺失的综合体现。仅切换至 gpt-4o 可能带来轻微改善，但无法根治——真正有效的解决方案需系统性重构。
✅ 核心修复策略（三步落地）
1. 强化系统提示：从“建议”升级为“强制协议”
原提示中仅以自然语言描述规则，模型易忽略或模糊理解。应将工具使用规范转化为不可绕过的执行契约，并嵌入结构化输出要求：
prompt = ChatPromptTemplate.from_messages([
("system", """You are Axel, a precise Spanish-speaking assistant (max 25 words per reply).
⚠️ CRITICAL TOOL RULES — VIOLATION = FAILURE:
- ONLY use 'send_mail_tool' when user explicitly says "envía un correo", "mandame un email", etc. AND provides BOTH an email address AND content.
- NEVER invent, guess, or modify email addresses. Use ONLY the exact string the user gave (e.g., 'ana@ejemplo.com').
- ALWAYS format tool input as a valid JSON string with EXACT keys: 'mail' and 'content'. No extra fields, no comments, no markdown.
- If ANY requirement is missing → respond in Spanish: "No puedo enviar el correo: falta [email o contenido].""""),
MessagesPlaceholder(variable_name="chat_history"),
("human", "{input}"),
MessagesPlaceholder(variable_name="agent_scratchpad")
])
? 关键改进：使用
⚠️ CRITICAL TOOL RULES标题+符号强调；明确失败兜底话术；禁用自由发挥空间。
2. 工具层防御：JSON Schema 校验 + 严格异常反馈
当前 send_mail_tool 的 json.loads() 容错过强（如接受单引号），且错误信息不具调试价值。升级为Schema 驱动校验：
import json
from pydantic import BaseModel, EmailStr, ValidationError
class MailInput(BaseModel):
mail: EmailStr # 自动校验邮箱格式
content: str
def send_mail_tool(data: str) -> str:
try:
# 强制双引号JSON，拒绝单引号/无引号键名
parsed = json.loads(data)
# 用 Pydantic 严格校验结构与语义
validated = MailInput(**parsed)
# ✅ 此处可集成真实SMTP发送逻辑
return f"✅ Correo enviado a {validated.mail} con contenido: '{validated.content[:30]}...'"
except json.JSONDecodeError as e:
return f"❌ Error de formato JSON: esperado {{\"mail\": \"x@y.z\", \"content\": \"texto\"}}, recibido: {data[:50]}"
except ValidationError as e:
errors = "; ".join([f"{err['loc'][0]}: {err['msg']}" for err in e.errors()])
return f"❌ Validación fallida: {errors}"
except Exception as e:
return f"❌ Error inesperado: {str(e)}"
✅ 效果：单引号字典（
{'mail': 'a@b.c'}）直接报错；无效邮箱（'abc'）被拦截；内容为空字符串也触发校验失败。
3. 工具描述重写：用“机器可读指令”替代自然语言
LangChain 的 description 字段是模型决策的关键依据。原描述冗长且含糊，应精简为动词驱动、条件明确、格式锁定的声明：
mail_tool = Tool(
name="send_mail_tool",
func=send_mail_tool,
description="""Send email ONLY if user provides BOTH email (valid format) and content.
INPUT MUST BE JSON STRING with EXACT keys: 'mail' (string), 'content' (string).
NO INVENTION, NO DEFAULTS, NO EXTRA KEYS. Example: {"mail": "u@x.com", "content": "Hola"}"""
)
? 原理：减少模型自由解释空间，突出
EXACT keys、NO INVENTION等禁止性关键词，匹配 LLM 的指令遵循偏好。
⚠️ 注意事项与进阶建议
-
避免在
AgentExecutor中启用handle_parsing_errors=True：该选项会静默吞掉工具输入错误，掩盖根本问题，应保持默认False并让错误透出到用户侧。 -
测试用例必须覆盖边界场景：
# 应失败的输入（验证防御有效性） assert "falta email" in agent_executor.invoke({"input": "Envíame un resumen"})["output"] assert "falta contenido" in agent_executor.invoke({"input": "Envíame un correo a juan@ejemplo.com"})["output"] assert "Error de formato JSON" in agent_executor.invoke({"input": "Envíame un correo a 'ana@gmail.com' con el informe"})["output"] -
长期演进方向：考虑迁移到
langgraph的StateGraph+ToolNode范式，实现工具调用前的显式参数提取节点（如用小型分类器判断是否满足发信条件），将规则执行从 LLM 推理中解耦。
通过以上三层加固——提示契约化、工具防御化、描述机器化——您的邮件工具将从“偶尔可用”变为“始终可信”。这不仅是修复一个 Bug，更是构建高可靠 AI Agent 的标准实践范式。
