渐进式验证器（Progressive Validator）

停止在注定失败的回测上浪费 3 小时。本技能实现了一个多阶段验证流水线，可在 15 分钟内淘汰无效策略，而非耗时 3 小时。

适用场景

• “验证该策略”
• “运行渐进式测试流水线”
• “该策略是否值得执行完整回测？”
• 为新策略变体规划验证顺序时

验证流水线

     15 分钟                30 分钟               1 小时              3 小时
  +-----------+       +-----------+       +-----------+       +-----------+
  |   SMOKE   | 通过  |  STRESS   | 通过  |  MEDIUM   | 通过  |   FULL    |
  |  3 个月   |------>|  5 个月   |------>| 18 个月   |------>|  3 年     |
  |  最大回撤 < 50% |       |  最大回撤 < 45% |       |  最大回撤 < 42% |       |  最大回撤 < 40% |
  +-----------+       +-----------+       +-----------+       +-----------+
       | 失败              | 失败              | 失败              | 失败
       v                   v                   v                   v
    拒绝                拒绝                拒绝                拒绝
   （损失 15 分钟）    （损失 45 分钟）    （损失 1.5 小时）   （损失 3 小时以上）

无渐进式验证时：每个失败策略均耗费 3 小时。 启用渐进式验证后：绝大多数失败可在 15–45 分钟内捕获。

验证阶段

第一阶段：冒烟测试（Smoke Test）

• 时间范围：2024-01-01 至 2024-03-31（3 个月）
• 耗时：约 15–20 分钟
• 阈值：最大回撤 < 50%
• 目的：捕获编译错误、逻辑缺陷及灾难性结构问题
• 覆盖范围：2024 年第一季度（含主要科技股上涨行情）

第二阶段：压力测试（Stress Test）

• 时间范围：2024-02-01 至 2024-06-30（5 个月）
• 耗时：约 25–30 分钟
• 阈值：最大回撤 < 45%
• 目的：检验策略在最严峻市场环境下的生存能力
• 覆盖范围：2024 年上半年 —— 历史上对期权策略而言最严酷的“绞肉机”时期

第三阶段：中等测试（Medium）

• 时间范围：2024-01-01 至 2025-06-30（18 个月）
• 耗时：约 45–60 分钟
• 阈值：最大回撤 < 42%
• 目的：在牛市/熊市转换及季节性效应下验证策略稳健性
• 覆盖范围：完整 2024 年波动周期 + 2025 年初复苏阶段

第四阶段：全周期测试（Full Period）

• 时间范围：2023-01-01 至 2026-01-31（3 年）
• 耗时：约 2–3 小时
• 阈值：最大回撤 < 40%，夏普比率 ≥ 2.0，收益率 ≥ 300%
• 目的：最终准入测试 —— 与已验证有效的策略对标
• 覆盖范围：完整市场周期，包括 2023 年 AI 行情、2024 年回调、2025 年复苏

使用方法

配置时间窗口

在配置中定义验证窗口：

BACKTEST_WINDOWS = {
    "smoke_test": {
        "start": "2024-01-01",
        "end": "2024-03-31",
        "max_dd": 0.50,
        "expected_time": "15-20 min",
        "purpose": "Eliminate garbage fast",
    },
    "stress_test": {
        "start": "2024-02-01",
        "end": "2024-06-30",
        "max_dd": 0.45,
        "expected_time": "25-30 min",
        "purpose": "Survive worst conditions",
    },
    "medium": {
        "start": "2024-01-01",
        "end": "2025-06-30",
        "max_dd": 0.42,
        "expected_time": "45-60 min",
        "purpose": "Bull/bear transition stability",
    },
    "full": {
        "start": "2023-01-01",
        "end": "2026-01-31",
        "max_dd": 0.40,
        "expected_time": "2-3 hours",
        "purpose": "Final benchmark acceptance",
    },
}

逐阶段执行

前提条件：本技能协调各验证阶段；实际回测提交由 backtest-poller 技能（cli.py）处理。请确保该技能已安装并位于系统 PATH 中，再运行以下命令。

# 第一阶段：冒烟测试（Smoke）
# （调用 backtest-poller 技能的 cli.py）
python3 ../backtest-poller/cli.py submit 
  --main-file strategy.py --name "M31_smoke"

# 查询下一步应执行的阶段：
python3 validator.py next M31 strategy.py

# 冒烟测试完成后记录结果：
python3 validator.py record M31 smoke_test --status passed --drawdown 0.32 --sharpe 2.1

# 第二阶段：压力测试（Stress）——仅当冒烟测试通过后执行
python3 ../backtest-poller/cli.py submit 
  --main-file strategy.py --name "M31_stress"

python3 validator.py record M31 stress_test --status passed --drawdown 0.38 --sharpe 2.0

# 第三阶段：中等测试（Medium）——仅当压力测试通过后执行
python3 ../backtest-poller/cli.py submit 
  --main-file strategy.py --name "M31_medium"

python3 validator.py record M31 medium --status passed --drawdown 0.35 --sharpe 2.3

# 第四阶段：全周期测试（Full）——仅当中等测试通过后执行
python3 ../backtest-poller/cli.py submit 
  --main-file strategy.py --name "M31_full"

python3 validator.py record M31 full --status passed --drawdown 0.30 --sharpe 2.5 --profit 3.2

跳过规则

并非所有修改都需从冒烟测试开始：

早停（Early-Stop）集成

本技能与 backtest-poller 技能（独立包）协同工作。backtest-poller 的早停功能实时监控最大回撤，若在任务完成进度达 20% 后即突破阈值，则立即终止该回测任务 —— 无需等待注定失败的完整执行。本验证器在本地追踪各阶段的通过/失败状态，因此您始终清楚应从何处恢复验证流程。

依赖项：请安装 backtest-poller 技能以启用提交（submit）和早停（early-stop）功能。本验证器自身不执行回测提交操作。

时间节省示例

测试 5 个策略变体，其中 3 个为无效策略：

节省：约 70% 的计算时间。

规则

• 未经充分理由，不得跳过任何阶段。 上述跳过规则表定义了唯一允许的例外情形。若入场逻辑或生存结构发生变更，必须从冒烟测试（Smoke）开始。
• 策略必须通过当前阶段，方可进入下一阶段。 若当前阶段因早停或失败而未通过，则不得推进至下一阶段。
• 验证过程中禁止修改阶段阈值。 在不同阶段间更改 max_dd 将破坏渐进式验证的保障机制。所有阈值须在验证启动前确定。
• 每次验证运行仅限一个策略变体。 各阶段之间不得修改策略代码 —— 其目的在于对同一份代码，在日益严苛的时间窗口下持续验证其表现。
• 务必记录每一次结果，包括失败情形。 使用命令 python3 validator.py record --status passed|failed 持久化保存结果。未记录的结果将导致 next 和 status 命令失效。