对 AI API 模型进行基准测试，随时间检测质量下降，包含 7 项标准化测试（推理、编程、写作、指令遵循、幻觉等）。
模型观察 问题 – 解决方案 问题:AI公司默默地降解了他们的模型. "Opus 4.7今天幻觉了很多... 震惊地看到这种退化" – r/ClaudeAI (
功能概述
模型观察 问题 – 解决方案 问题:AI公司默默地降解了他们的模型. "Opus 4.7今天幻觉了很多... 震惊地看到这种退化" – r/ClaudeAI (是一项面向实际任务的技能。它将相关步骤、工具调用和结果整理方式集中到统一流程中，帮助使用者更快完成目标并减少重复操作。
核心要点
- 使用时应结合输入条件选择合适的执行方式，核对必要参数、依赖环境与输出内容，并按原始要求处理异常情况。
- 该技能适合需要稳定复用相关能力的场景，可作为自动化工作流的一部分，也便于后续检查、调整和扩展。
- 从功能定位来看，该技能强调把分散的操作要求整理成清晰、可复用的处理流程，使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。
使用与执行
实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数，再依据技能说明逐步执行；若输入条件不完整，应先补齐信息或采用保守配置，避免因错误假设导致结果偏离需求。
结果检查与注意事项
执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期，并对异常提示、缺失字段和边界情况进行处理；涉及批量任务时，还应保存进度，避免中断后重复操作。
model-watch
问题 → 解决方案
问题：AI 公司在悄然降低其模型性能。“Opus 4.7 今天幻觉严重……如此明显的退化令人震惊”——r/ClaudeAI（49↑）。“Anthropic 承认其托管模型变得更‘笨’了”——r/LocalLLaMA（281↑）。你支付着相同的价格，却在使用一个能力更弱的模型，甚至对此一无所知。
解决方案：一套由你自主运行的标准化基准测试套件。涵盖 5 个类别共 7 项测试。所有得分本地存储。当近期得分较历史平均值下降超过 10% 时自动发出告警。依据硬数据，而非主观感受（vibes）。
快速开始
pip install git+https://github.com/minirr890112-byte/model-watch.git
model-watch demo # 查看基准测试题目
model-watch submit '{"reasoning_1":"...","coding_1":"...",...}' # 提交模型输出
model-watch history # 查看得分历史
model-watch alert # 检查是否存在性能退化
基准测试（7 项测试）
| 类别 | 测试数量 | 测量内容 |
|---|---|---|
| Reasoning | 2 | 逻辑推理、多步演绎能力 |
| Coding | 2 | 代码生成、调试能力 |
| Writing | 1 | 文本质量、连贯性 |
| Instruction-following | 1 | 指令遵循精度、约束条件遵守能力 |
| Hallucination detection | 2 | 事实准确性 |
工作原理
- 将 7 道基准测试题输入你选定的 AI 模型进行推理
- 将模型输出结果传入
model-watch submit - 所有得分本地保存于
~/.hermes/model-watch-history.json - 使用
model-watch history追踪性能趋势 model-watch alert在近期得分较历史平均值下降超过 10% 时触发告警
⭐ 如果你发现你最喜爱的模型正在变“笨”，请给本仓库点个 Star：github.com/minirr890112-byte/model-watch
相关专题
Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章，帮助读者完成上线流程。
2026.10.28
0
16
Vite搭配Vue.js专题汇集创建Vue 3项目、配置开发环境、路径别名、Vue插件、代理、多环境构建与调试的已审核文章，帮助读者完成从初始化到日常开发的配置。
2026.10.28
0
15
Vite项目目录专题汇集入口文件、src源码、public静态资源、路径别名、项目根目录和构建输出目录相关的已审核文章，帮助读者理解各文件夹的用途与引用方式。
2026.10.28
0
10
本专题介绍Gradle插件开发的基本流程，涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法，帮助你理解插件如何组织构建逻辑，减少多个项目之间的重复配置。
2026.10.22
0
11
本专题介绍Gradle Wrapper的基本作用，涵盖文件组成、生成方法、版本配置和任务调用，帮助你理解项目如何使用指定的Gradle版本，减少不同开发环境带来的构建差异。
2026.10.22
0
10
本专题整理Golangci-lint常用Linters的用途与配置方法，覆盖错误处理、无效代码、安全、复杂度、命名和依赖检查，帮助项目合理选规则。
2026.10.22
0
15
本专题介绍Gradle Java项目构建方法，涵盖Java插件配置、依赖声明、源码编译、测试执行和打包检查，帮助你理解各阶段的任务关系，逐步完成项目构建。
2026.10.22
0
10
本专题汇总PHP常见时间戳漏洞，包括2038年溢出、时区漂移、时间戳伪造、重放攻击、时间盲注与日志审计失效等，并给出升级64位环境、使用 DateTimeImmutable、统一UTC、严格超时校验、预处理绑定、hash_equals 比对等修复方案，帮助开发者快速排查和加固时间相关代码。
2026.10.22
0
25
本专题聚焦Golangci-lint YAML配置文件，讲清运行参数、规则启停、目录排除、问题过滤及严重级别设置，便于团队统一检查标准。
2026.10.22
0
15
热门下载
相关下载
精品课程
共6课时 | 54.7万人学习
共89课时 | 134.1万人学习
共49课时 | 82.6万人学习
