SkillEvaluator 是 NVIDIA 开源的 Agent Skill 评估工具。它能检查技能文件的质量和兼容性、找出内容重叠,还能比较同一个 Agent 在安装技能前后的任务表现。
技能目录里有哪些内容会被检查?
单个技能本质上就是一个带 skill.md 文件的目录,这个入口文件里一般会写清技能名称、适用场景和操作步骤,整个目录下还可能存放配套脚本和参考资料。校验时直接把整个目录提交给工具,它就能自动扫出失效相对路径、缺失配套文件这类问题。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

先分清三种检查各自回答什么
Tier 1 一般在技能交付前用,专门查格式、文档规范和已启用的安全规则。Tier 2 多用于批量管理技能库的场景,排查不同技能之间的语义重叠问题。Tier 3 要求实际运行智能体,用同一套测试任务,对比装了对应技能和没装技能的两组运行结果。遇到重复冗余、技能加载失败、装上之后任务表现没提升这类问题,要靠不同层级的检查结果交叉判断。
同一个词数统计技能怎么逐层核对?
拿词数统计类技能举例,逐层核对的步骤很清晰:第一步先确认技能描述明确告知了助手的触发时机,同时配置里引用的脚本文件确实在目录中存在。如果你的技能库里已经有好几个同类文本分析技能,接下来就对比它们的功能覆盖范围和输出内容的重叠度。最后选短文本、空白输入、完全不相关的问题三类内容做测试用例,观察技能会不会在对应适用场景被正常调用,输出结果有没有比无技能状态更准确。

拿到好评分后还需要验证什么?
就算工具给出了很高的评分,也别直接上线。很多时候写得没问题的技能,会因为客户端搜索路径配置错、元数据不符合要求没法正常加载。哪怕技能已经成功加载了,也要额外验证助手会不会在正确的场景下触发它。把“文件合规”“客户端加载”“任务结果改善”三个维度的结果分开记录,出问题的时候就能快速定位到底是文档写错了、安装环节出问题,还是实际使用效果达不到预期。










