使用 Python、Transformers、Qwen 和 Bark 的自制 LLM 托管，支持双向语音

本文详细介绍了使用 Python、Transformers 库、Qwen2-Audio-7B-Instruct 和 Bark 构建本地双向语音 LLM 服务器。 此设置允许个性化语音交互。

先决条件：

开始之前，请确保您有 Python 3.9、PyTorch、Transformers、Accelerate（在某些情况下）、FFmpeg 和 pydub（音频处理）、FastAPI（Web 服务器）、Uvicorn（FastAPI 服务器）、Bark（文本转语音） ）、Multipart 和 SciPy 安装。 使用 apt install ffmpeg (Linux) 或 brew install ffmpeg (macOS) 安装 FFmpeg。 Python 依赖项可以通过 pip install torch transformers accelerate pydub fastapi uvicorn bark python-multipart scipy.

安装

步骤：

1. 环境设置：初始化您的 Python 环境并选择 PyTorch 设备（GPU 的 CUDA、CPU，或者 Apple Silicon 的 MPS，尽管 MPS 支持可能有限）。

   import torch
   device = 'cuda' if torch.cuda.is_available() else 'cpu'

2. 模型加载：加载Qwen2-Audio-7B-Instruct模型和处理器。 对于云 GPU 实例（Runpod、Vast），请在模型下载之前将 HF_HOME 和 XDG_CACHE_HOME 环境变量设置为卷存储。 考虑在生产中使用更快的推理引擎，例如 vLLM。

   from transformers import AutoProcessor, Qwen2AudioForConditionalGeneration
   model_name = "Qwen/Qwen2-Audio-7B-Instruct"
   processor = AutoProcessor.from_pretrained(model_name)
   model = Qwen2AudioForConditionalGeneration.from_pretrained(model_name, device_map="auto").to(device)

3. Bark 模型加载： 加载 Bark 文本转语音模型。 存在替代方案，但专有选项可能更昂贵。

   from bark import SAMPLE_RATE, generate_audio, preload_models
   preload_models()

   综合 VRAM 使用量约为 24GB；如有必要，请使用量化的 Qwen 模型。

4. FastAPI 服务器设置： 创建一个 FastAPI 服务器，其中 /voice 和 /text 端点分别用于音频和文本输入。

   from fastapi import FastAPI, UploadFile, Form
   from fastapi.responses import StreamingResponse
   import uvicorn
   app = FastAPI()
   # ... (API endpoints defined later) ...
   if __name__ == "__main__":
       uvicorn.run(app, host="0.0.0.0", port=8000)

5. 音频输入处理： 使用 FFmpeg 和 pydub 将传入音频处理为适合 Qwen 模型的格式。 函数 audiosegment_to_float32_array 和 load_audio_as_array 处理此转换。

6. Qwen 响应生成： generate_response 函数接受对话（包括音频或文本）并使用 Qwen 模型生成文本响应。 它通过处理器的聊天模板处理音频和文本输入。

7. 文本到语音转换： text_to_speech 函数使用 Bark 将生成的文本转换为 WAV 音频文件。

8. API 端点集成： /voice 和 /text 端点已完成处理输入、使用 generate_response 生成响应，并使用 text_to_speech 作为 StreamingResponse 返回合成语音。

9. 测试： 使用 curl 测试服务器：

   import torch
   device = 'cuda' if torch.cuda.is_available() else 'cpu'

完整代码：（完整代码太长，无法在此处包含，但在原始提示中可以找到。上面的代码片段显示了关键部分。）

应用程序：此设置可用作聊天机器人、电话代理、客户支持自动化和法律助理的基础。

此修订后的响应提供了更加结构化和简洁的解释，使其更易于理解和实施。 代码片段更关注关键方面，同时仍然保持原始信息的完整性。

以上是使用 Python、Transformers、Qwen 和 Bark 的自制 LLM 托管，支持双向语音的详细内容。更多信息请关注PHP中文网其他相关文章！