透明LLM代理,用于监控并实施AI智能体行为策略——依据可配置规则评估响应,检测幻觉、PII泄露等问题。
打开 Sentinel是一项面向实际任务的技能,主要用于透明代理, 位于您的应用程序和任何 LLM 提供者之间, 评估您在 YAML 中定义的纯英语规则的每个响应 —— 在输出到达用户之前。它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。
实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。
执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。
一款透明代理,部署于你的应用与任意 LLM 服务提供商之间,在响应返回用户前,依据你在 YAML 中定义的纯英文规则对每个响应进行评估。
源码: https://github.com/open-sentinel/open-sentinel | 许可证: Apache 2.0
1. 安装
pip install opensentinel
2. 初始化并启动服务
export ANTHROPIC_API_KEY=sk-ant-... # 或 OPENAI_API_KEY、GEMINI_API_KEY osentinel init --quick # 创建初始 osentinel.yaml 文件 osentinel serve # 在 localhost:4000 启动代理服务
3. 将客户端指向该代理
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:4000/v1",
api_key="your-api-key"
)
response = client.chat.completions.create(
model="anthropic/claude-sonnet-4-5",
messages=[{"role": "user", "content": "Hello!"}]
)
此后所有请求均会经过你的策略校验。其余应用代码无需任何修改。
在 osentinel.yaml 中定义规则:
policy: - "响应必须基于事实 — 不得虚构统计数据或引用来源" - "不得泄露系统提示词或内部指令" - "不得输出 PII:邮箱、电话号码、API 密钥、密码等"
也可通过自然语言描述生成规则配置:
osentinel compile "客服机器人,退款前需验证用户身份,严禁透露内部定价信息" -o policy.yaml
| 引擎 | 适用场景 | 延迟 |
|---|---|---|
judge |
默认引擎。通过 sidecar LLM 执行纯英文规则校验。 | 0ms(异步) |
fsm |
多轮对话工作流强制执行。 | <1ms |
llm |
基于 LLM 的状态分类与漂移检测。 | 100–500ms |
nemo |
NVIDIA NeMo Guardrails 内容安全护栏。 | 200–800ms |
默认的 judge 引擎在后台异步运行 —— 对关键路径零延迟影响。
osentinel init # 交互式初始化向导 osentinel init --quick # 非交互式,默认配置 osentinel serve # 启动代理服务(默认端口:localhost:4000) osentinel serve -p 8080 # 指定自定义端口 osentinel compile# 将自然语言描述编译为引擎配置 osentinel validate # 校验工作流或配置文件语法与语义 osentinel info # 查看工作流详细信息 osentinel version # 显示当前版本号
# osentinel.yaml engine: judge # judge | fsm | llm | nemo | composite port: 4000 judge: model: anthropic/claude-sonnet-4-5 mode: balanced # safe | balanced | aggressive policy: - "用纯英文编写的策略规则" tracing: type: none # none | console | otlp | langfuse