AI 虚拟形象与会说话的头像视频

通过 inference.sh CLI 创建 AI 虚拟形象及会说话的头像视频。

快速开始

curl -fsSL https://cli.inference.sh | sh && infsh login

# 使用图像 + 音频生成虚拟形象视频
infsh app run bytedance/omnihuman-1-5 --input '{
  "image_url": "https://portrait.jpg",
  "audio_url": "https://speech.mp3"
}'

安装说明：安装脚本仅检测您的操作系统与架构，从 dist.inference.sh 下载对应二进制文件，并校验其 SHA-256 校验和。无需提权，不启动后台进程。支持手动安装与校验。

可用模型

搜索虚拟形象应用

infsh app list --search "omnihuman"
infsh app list --search "lipsync"
infsh app list --search "fabric"

示例

OmniHuman 1.5（多角色）

infsh app run bytedance/omnihuman-1-5 --input '{
  "image_url": "https://portrait.jpg",
  "audio_url": "https://speech.mp3"
}'

支持在多人图像中指定驱动哪一人物角色。

Fabric 1.0（图像发声）

infsh app run falai/fabric-1-0 --input '{
  "image_url": "https://face.jpg",
  "audio_url": "https://audio.mp3"
}'

PixVerse Lipsync

infsh app run falai/pixverse-lipsync --input '{
  "image_url": "https://portrait.jpg",
  "audio_url": "https://speech.mp3"
}'

可基于任意音频生成高度逼真的唇形同步效果。

完整工作流：TTS + 虚拟形象

# 1. 将文本转为语音
infsh app run infsh/kokoro-tts --input '{
  "text": "欢迎观看我们的产品演示。今天我将为您介绍……"
}' > speech.json

# 2. 使用生成的语音创建虚拟形象视频
infsh app run bytedance/omnihuman-1-5 --input '{
  "image_url": "https://presenter-photo.jpg",
  "audio_url": ""
}'

完整工作流：视频多语种配音

# 1. 对原始视频进行语音转文字
infsh app run infsh/fast-whisper-large-v3 --input '{"audio_url": "https://video.mp4"}' > transcript.json

# 2. 翻译文本（手动或使用 LLM）

# 3. 用新语言生成语音
infsh app run infsh/kokoro-tts --input '{"text": ""}' > new_speech.json

# 4. 将原始视频与新音频做唇形同步
infsh app run infsh/latentsync-1-6 --input '{
  "video_url": "https://original-video.mp4",
  "audio_url": ""
}'

典型应用场景

• 市场营销：AI 主持人制作产品演示视频
• 教育培训：课程讲解视频、知识科普视频
• 本地化：将内容配音为多种语言版本
• 社交媒体：打造风格统一的虚拟网红
• 企业内部：员工培训视频、公司公告视频

使用建议

• 使用高质量正面肖像照（光线充足、无遮挡）
• 音频需清晰，背景噪音尽可能少
• OmniHuman 1.5 支持单张图像中包含多个角色
• LatentSync 最适合将已有视频与新音频进行唇形同步

相关技能包（Skills）

# 全平台技能（涵盖全部 150+ 应用）
npx skills add inference-sh/skills@inference-sh

# 文本转语音（为虚拟形象生成语音）
npx skills add inference-sh/skills@text-to-speech

# 语音转文本（用于配音流程中的语音识别）
npx skills add inference-sh/skills@speech-to-text

# 视频生成
npx skills add inference-sh/skills@ai-video-generation

# 图像生成（创建虚拟形象图像）
npx skills add inference-sh/skills@ai-image-generation

浏览所有视频类应用：infsh app list --category video

文档资源

• 运行应用 — 如何通过 CLI 运行应用
• 内容流水线示例 — 构建多媒体处理工作流
• 结果流式传输 — 实时获取处理进度更新