vultr-inference

使用 Vultr 的 Inference API 生成图像和文本。

配置

使用与 Vultr Cloud API 相同的 API 密钥。请将其保存至以下路径：

~/.config/vultr/api_key

图像生成

可用模型

生成图像

curl -X POST "https://api.vultrinference.com/v1/images/generations" 
  -H "Authorization: Bearer $VULTR_API_KEY" 
  -H "Content-Type: application/json" 
  -d '{
    "model": "flux.1-schnell",
    "prompt": "a hedgehog eating a burger in Amsterdam",
    "n": 1,
    "size": "1024x1024"
  }'

参数

响应

{
  "created": 1734567890,
  "data": [
    {
      "url": "https://ewr.vultrobjects.com/vultrinference-images/tmp_xxx.png"
    }
  ]
}

文本生成（聊天补全）

可用模型

• llama-3.1-405b-instruct — Meta Llama 3.1 405B
• llama-3.1-70b-instruct — Meta Llama 3.1 70B
• llama-3.1-8b-instruct — Meta Llama 3.1 8B
• mixtral-8x7b-32768 — Mixtral 8x7B
• qwen-2-72b-instruct — Qwen 2 72B

聊天补全

curl -X POST "https://api.vultrinference.com/v1/chat/completions" 
  -H "Authorization: Bearer $VULTR_API_KEY" 
  -H "Content-Type: application/json" 
  -d '{
    "model": "llama-3.1-70b-instruct",
    "messages": [
      {"role": "user", "content": "Hello, how are you?"}
    ],
    "max_tokens": 100
  }'

参数

Python 示例

import os
import requests

API_KEY = open(os.path.expanduser("~/.config/vultr/api_key")).read().strip()

# 生成图像
response = requests.post(
    "https://api.vultrinference.com/v1/images/generations",
    headers={"Authorization": f"Bearer {API_KEY}"},
    json={
        "model": "flux.1-schnell",
        "prompt": "a hedgehog eating a burger",
        "size": "512x512",
        "n": 1
    }
)

result = response.json()
image_url = result["data"][0]["url"]
print(f"Image URL: {image_url}")

# 下载图像
img_response = requests.get(image_url)
with open("generated_image.png", "wb") as f:
    f.write(img_response.content)

列出可用模型

curl -s "https://api.vultrinference.com/v1/models" 
  -H "Authorization: Bearer $VULTR_API_KEY" | jq

故障排查

401 Unauthorized（未授权）

• 检查 API 密钥是否有效
• 确认密钥已授予 inference 权限

400 Bad Request（错误请求）

• 检查模型名称是否正确
• 检查 size 参数是否合法（仅支持 256x256、512x512、1024x1024）
• 检查 prompt 是否非空

速率限制

• 默认：每分钟 60 次请求
• 如需更高限额，请联系 Vultr 支持团队