单次提示测试与优化技能

说明

使用单次调用进行提示词成本测试

安装

brew tap vincentzhangz/singleshot
brew install singleshot

或者：cargo install singleshot

适用场景

• 在 openclaw 实现前测试新提示词
• 对不同提示词变体进行 Token 效率基准测试
• 对比不同模型的性能与调用成本
• 在生产环境部署前验证提示词输出结果

核心命令

务必始终使用 -d（详细信息）和 -r（生成报告）参数以进行效率分析：

# 基础测试，包含全部指标
singleshot chat -p "Your prompt" -P openai -d -r report.md

# 使用配置文件测试
singleshot chat -l config.md -d -r report.md

# 对比不同服务商
singleshot chat -p "Test" -P openai -m gpt-4o-mini -d -r openai.md
singleshot chat -p "Test" -P anthropic -m claude-sonnet-4-20250514 -d -r anthropic.md

# 批量测试多个变体
for config in *.md; do
  singleshot chat -l "$config" -d -r "report-${config%.md}.md"
done

报告分析工作流

1. 生成基线报告

singleshot chat -p "Your prompt" -P openai -d -r baseline.md
cat baseline.md

2. 优化并对比

# 创建优化版本、执行测试并生成对比报告
cat > optimized.md << 'EOF'
---provider---
openai
---model---
gpt-4o-mini
---max_tokens---
200
---system---
Expert. Be concise.
---prompt---
Your optimized prompt
EOF

singleshot chat -l optimized.md -d -r optimized-report.md

# 对比关键指标
echo "Baseline:" && grep -E "(Tokens|Cost)" baseline.md
echo "Optimized:" && grep -E "(Tokens|Cost)" optimized-report.md

报告指标

报告中包含以下内容：

## Token Usage
- Input Tokens: 245
- Output Tokens: 180
- Total Tokens: 425

## Cost (estimated)
- Input Cost: $0.00003675
- Output Cost: $0.000108
- Total Cost: $0.00014475

## Timing
- Time to First Token: 0.45s
- Total Time: 1.23s

优化策略

1. 优先使用更低成本的模型进行测试：

   singleshot chat -p "Test" -P openai -m gpt-4o-mini -d -r report.md
   

2. 减少 Token 数量：

   • 精简 system prompt
   • 使用 --max-tokens 限制输出长度
   • 在 system prompt 中添加 “be concise” 指令

3. 本地测试（免费）：

   singleshot chat -p "Test" -P ollama -m llama3.2 -d -r report.md
   

示例：完整优化流程

# 步骤 1：基线测试（冗长版）
singleshot chat 
  -p "How do I write a Rust function to add two numbers?" 
  -s "You are an expert Rust programmer with 10 years experience" 
  -P openai -d -r v1.md

# 步骤 2：查看指标
cat v1.md
# 预期：输入约 130 Token，输出约 400 Token

# 步骤 3：优化版本
singleshot chat 
  -p "Rust function: add(a: i32, b: i32) -> i32" 
  -s "Rust expert. Code only." 
  -P openai --max-tokens 100 -d -r v2.md

# 步骤 4：对比结果
echo "=== COMPARISON ==="
grep "Total Cost" v1.md v2.md
grep "Total Tokens" v1.md v2.md

速查参考

# 使用完整细节测试
singleshot chat -p "prompt" -P openai -d -r report.md

# 提取关键指标
grep -E "(Input|Output|Total)" report.md

# 对比两份报告
diff report1.md report2.md

# 视觉能力测试
singleshot chat -p "Describe" -i image.jpg -P openai -d -r report.md

# 列出可用模型
singleshot models -P openai

# 测试连接状态
singleshot ping -P openai

环境变量

export OPENAI_API_KEY="sk-..."
export ANTHROPIC_API_KEY="sk-ant-..."
export OPENROUTER_API_KEY="sk-or-..."

最佳实践

1. 始终使用 -d 获取详细的 Token 指标
2. 始终使用 -r 将报告保存至文件
3. 始终使用 cat 查看报告 并人工分析各项指标
4. 测试多种提示词变体 并横向对比其成本差异
5. 设置 --max-tokens 显式控制输出长度以控制成本
6. 测试阶段优先选用 gpt-4o-mini（成本更低）

故障排查

• 无指标输出：请确认已使用 -d 参数
• 未生成报告文件：请确认已使用 -r 参数
• 成本过高：可切换至 gpt-4o-mini 或 Ollama 进行本地测试
• 连接异常：运行 singleshot ping -P 检查服务连通性