运行 AutoDL 训练

该技能用于在 AutoDL Linux 服务器上执行远程训练操作，专为高频工作流设计，涵盖“启动训练、监控进度、检查资源使用、读取日志、诊断失败原因、决定后续操作”等环节，且所有执行严格限定于一个已配置的项目目录内。

该技能的功能

• 通过 SSH 在目标项目目录中启动已配置的训练命令。
• 激活远程 Python 环境（优先使用 Conda，不支持时自动回退至 virtualenv）。
• 综合进程状态、GPU 使用情况及日志更新时间等信号，判断训练是否仍在运行。
• 汇总 GPU、CPU、内存和磁盘压力指标，而非直接输出原始命令结果。
• 读取近期日志，并提取典型训练指标，例如 epoch、step、loss、lr、grad_norm、val_loss、accuracy、mAP 和 F1。
• 检测常见训练失败类型，包括 CUDA OOM、NCCL 错误、NaN 值、磁盘空间耗尽、超时及段错误（segmentation fault）。
• 生成面向人类可读的训练摘要，并推荐下一步操作：继续训练、调参优化，或从检查点恢复（resume）。

必需输入项

运行任何脚本前，请先收集或确认以下参数值：

• host：AutoDL 服务器主机名或 IP 地址。
• port：SSH 端口，默认为 22。
• username：远程 Linux 用户名。
• project_path：远程服务器上的绝对项目路径，例如 /root/autodl-tmp/your-project。
• 环境配置三选一：env_name（Conda 环境名）、env_activate（自定义激活命令）、或 venv_path（virtualenv 路径）。
• train_command：训练启动命令，如 python train.py、python -m torch.distributed.run ... 或 bash scripts/train.sh。
• 可选密码模式：当无法使用 SSH 密钥登录时，可通过环境变量 AUTOCLAW_TRAIN_SSH_PASSWORD 或本地 .env 文件提供密码。

推荐将 config.example.json 复制为实际配置文件（如 config.json），或基于 .env.example 设置环境变量。

安全规则

• 所有操作仅限于已配置的 project_path 目录内。
• 不得虚构缺失的 SSH 凭据或密钥信息。
• 禁止将明文密码写入任何文件。
• 优先使用 SSH 密钥或环境变量方式认证。
• 拒绝明显具有破坏性的启动命令，例如 rm -rf、reboot、shutdown、mkfs 或 fork bomb。
• 不得终止无关进程，也不得执行全局性破坏性恢复命令。

工作流

1. 确认配置

阅读 config.example.json 和 references/usage.md 以了解所需字段。若存在缺失值，请向用户明确询问，切勿自行猜测。

2. 启动或恢复训练

运行 scripts/remote_train.py 启动后台训练任务，或生成恢复命令：

python scripts/remote_train.py --config config.json
python scripts/remote_train.py --config config.json --resume-from outputs/checkpoints/last.ckpt

当用户提出“启动训练”、“中断后重新启动”或“从检查点恢复”等请求时，使用此步骤。

3. 检查实时状态

当用户询问训练是否仍在运行时，运行 scripts/check_status.py：

python scripts/check_status.py --config config.json

该脚本结合进程匹配、nvidia-smi 输出与日志更新时间，将训练状态归类为 running、stopped、failed 或 unknown。

4. 检查资源压力

运行 scripts/monitor_resources.py 汇总 GPU/CPU/内存/磁盘使用情况：

python scripts/monitor_resources.py --config config.json

请优先采用输出中的人类可读瓶颈分析结果；除非用户明确要求原始数据，否则不应直接粘贴原始命令输出。

5. 读取日志与摘要

以以下任一模式运行 scripts/summarize_log.py：

python scripts/summarize_log.py --config config.json --action read --tail 200
python scripts/summarize_log.py --config config.json --action detect-failure --tail 400
python scripts/summarize_log.py --config config.json --action summarize --tail 400

使用 read 获取近期日志片段与指标；使用 detect-failure 进行异常诊断；使用 summarize 获取简洁、面向人类的收敛评估及后续操作建议。

脚本映射表

• scripts/remote_train.py：启动训练；支持可选的恢复模板生成；返回结构化启动结果。
• scripts/check_status.py：基于进程、GPU 及日志状态判断训练运行状态。
• scripts/monitor_resources.py：汇总 GPU/CPU/内存/磁盘使用率，并提供瓶颈提示。
• scripts/summarize_log.py：读取日志、检测失败原因、汇总收敛趋势并给出下一步建议。
• scripts/common.py：共享功能模块，包括配置加载、SSH 执行封装、安全路径校验及远程辅助函数。
• scripts/log_utils.py：可复用的日志解析、失败检测、趋势分析与推荐逻辑。

参考资料

• 阅读 references/usage.md 了解部署步骤、示例配置与命令用法。
• 当 SSH 连接、环境激活、日志读取或训练恢复失败时，查阅 references/troubleshooting.md。

智能体行为指引

• 始终优先执行侵入性最小、且能直接回应用户请求的操作。
• 当用户提出是非型状态问题（如“训练还在跑吗？”）时，应优先运行 scripts/check_status.py，而非直接读取长日志。
• 当用户询问“训练为何停止”，应先运行 scripts/check_status.py，再运行 scripts/summarize_log.py --action detect-failure。
• 当用户询问“是否应继续训练”，应运行 scripts/summarize_log.py --action summarize，并将脚本输出中的建议完整纳入最终响应。
• 当用户提供检查点路径时，应优先使用 scripts/remote_train.py --resume-from ...，确保恢复命令显式、可审计。