使用 Runway API 生成 AI 视频、图片和音频。适用于从图片生成视频、文本转视频、视频转视频、角色表演、文本转图像等场景。
运行道 API 技能是一项面向实际任务的技能,主要用于Generate AI 视频、图像和音频使用 Runway 的 API.;Features Gen-4.5 – Runway 最新且最能用的模型,支持文本到视频和图像到视频的基因。
从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;
若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。
使用 Runway 的 API 生成 AI 视频、图像和音频。支持 Gen-4.5 —— Runway 最新且能力最强的模型,涵盖文本生成视频(text-to-video)与图像生成视频(image-to-video),同时兼容 Gen-4 系列变体,以及来自 Google(Veo)和 ElevenLabs 的第三方模型。
RUNWAYML_API_SECRETnpm install @runwayml/sdkimport RunwayML from "@runwayml/sdk";
const client = new RunwayML(); // 自动读取 RUNWAYML_API_SECRET
const task = await client.textToVideo.create({
model: "gen4.5",
promptText: "一家热闹的小贩中心里,一碗热气腾腾的面条,暖光照明,镜头缓慢推进",
duration: 5,
ratio: "1280:720"
}).waitForTaskOutput();
console.log("视频 URL:", task.output[0]);
import RunwayML from "@runwayml/sdk";
import fs from "fs";
const client = new RunwayML();
const imageData = fs.readFileSync("product.jpg");
const promptImage = `data:image/jpeg;base64,${imageData.toString("base64")}`;
const task = await client.imageToVideo.create({
model: "gen4.5",
promptImage,
promptText: "镜头缓慢向产品罐体推进,侧方暖光照明,玻璃瓶中可见酱汁光泽",
duration: 5,
ratio: "1280:720"
}).waitForTaskOutput();
console.log("视频 URL:", task.output[0]);
# 文本生成视频
curl -X POST "https://api.dev.runwayml.com/v1/image_to_video"
-H "Authorization: Bearer $RUNWAYML_API_SECRET"
-H "X-Runway-Version: 2024-11-06"
-H "Content-Type: application/json"
-d '{
"model": "gen4.5",
"promptText": "日落时分宁静的山景",
"ratio": "1280:720",
"duration": 5
}'
| 模型 | 输入类型 | 每秒消耗积分 | 说明 |
|---|---|---|---|
gen4.5 ⭐ |
文本或图像 | 12 | 最新版,推荐使用 |
gen4_turbo |
仅图像 | 5 | 快速图像生成视频(I2V)迭代 |
veo3.1 |
文本或图像 | 40 | Google Veo 模型 —— 输出含音频 |
veo3.1_fast |
文本或图像 | 15 | Veo 模型 —— 含音频,成本更低 |
gen4_aleph |
视频 + 文本/图像 | 15 | 视频到视频(video-to-video)转换 |
act_two |
图像或视频 | 5 | 角色动作/表演控制 |
| 模型 | 单次调用积分消耗 | 说明 |
|---|---|---|
gen4_image |
5–8/张图像 | 高质量输出,支持风格参考图 |
gen4_image_turbo |
2/张图像 | 快速迭代(需提供参考图像) |
| 模型 | 输入 → 输出 | 积分消耗 |
|---|---|---|
eleven_multilingual_v2 |
文本 → 语音 | 每 50 字符 1 积分 |
eleven_text_to_sound_v2 |
文本 → 音效 | 每 6 秒 1 积分 |
eleven_voice_dubbing |
音频 → 配音 | 每 2 秒 1 积分 |
| 宽高比 | 格式说明 |
|---|---|
1280:720 |
16:9 横屏(标准) |
720:1280 |
9:16 竖屏(适用于 Reels / Stories) |
1584:672 |
21:9 超宽屏 |
1104:832 |
4:3 |
832:1104 |
3:4 |
960:960 |
正方形 |
所有操作均为异步执行。SDK 的 .waitForTaskOutput() 方法会自动处理轮询(超时时间为 10 分钟)。
任务状态流转: PENDING → THROTTLED → RUNNING → SUCCEEDED / FAILED
手动轮询示例:
curl "https://api.dev.runwayml.com/v1/tasks/{task_id}"
-H "Authorization: Bearer $RUNWAYML_API_SECRET"
-H "X-Runway-Version: 2024-11-06"