Hébergement LLM fait maison avec prise en charge vocale bidirectionnelle à l'aide de Python, Transformers, Qwen et Bark

Cet article détaille la création d'un serveur LLM local et bidirectionnel à commande vocale à l'aide de Python, de la bibliothèque Transformers, de Qwen2-Audio-7B-Instruct et de Bark. Cette configuration permet des interactions vocales personnalisées.

Prérequis :

Avant de commencer, assurez-vous d'avoir Python 3.9, PyTorch, Transformers, Accelerate (dans certains cas), FFmpeg & pydub (traitement audio), FastAPI (serveur web), Uvicorn (serveur FastAPI), Bark (text-to-speech ), Multipart et SciPy installés. Installez FFmpeg en utilisant apt install ffmpeg (Linux) ou brew install ffmpeg (macOS). Les dépendances Python peuvent être installées via pip install torch transformers accelerate pydub fastapi uvicorn bark python-multipart scipy.

Étapes :

1. Configuration de l'environnement : Initialisez votre environnement Python et sélectionnez le périphérique PyTorch (CUDA pour GPU, CPU sinon, ou MPS pour Apple Silicon, bien que la prise en charge MPS puisse être limitée).

   import torch
   device = 'cuda' if torch.cuda.is_available() else 'cpu'

2. Chargement du modèle : Chargez le modèle et le processeur Qwen2-Audio-7B-Instruct. Pour les instances GPU cloud (Runpod, Vast), définissez les variables d'environnement HF_HOME et XDG_CACHE_HOME sur votre stockage de volume avant le téléchargement du modèle. Pensez à utiliser un moteur d'inférence plus rapide comme vLLM en production.

   from transformers import AutoProcessor, Qwen2AudioForConditionalGeneration
   model_name = "Qwen/Qwen2-Audio-7B-Instruct"
   processor = AutoProcessor.from_pretrained(model_name)
   model = Qwen2AudioForConditionalGeneration.from_pretrained(model_name, device_map="auto").to(device)

3. Chargement du modèle Bark : Chargez le modèle de synthèse vocale Bark. Des alternatives existent, mais les options propriétaires peuvent être plus coûteuses.

   from bark import SAMPLE_RATE, generate_audio, preload_models
   preload_models()

   L'utilisation combinée de la VRAM est d'environ 24 Go ; utilisez un modèle Qwen quantifié si nécessaire.

4. Configuration du serveur FastAPI : Créez un serveur FastAPI avec des points de terminaison /voice et /text pour la saisie audio et texte respectivement.

   from fastapi import FastAPI, UploadFile, Form
   from fastapi.responses import StreamingResponse
   import uvicorn
   app = FastAPI()
   # ... (API endpoints defined later) ...
   if __name__ == "__main__":
       uvicorn.run(app, host="0.0.0.0", port=8000)

5. Traitement des entrées audio : Utilisez FFmpeg et pydub pour traiter l'audio entrant dans un format adapté au modèle Qwen. Les fonctions audiosegment_to_float32_array et load_audio_as_array gèrent cette conversion.

6. Génération de réponse Qwen : La fonction generate_response prend une conversation (y compris audio ou texte) et utilise le modèle Qwen pour générer une réponse textuelle. Il gère à la fois les entrées audio et textuelles via le modèle de discussion du processeur.

7. Conversion texte-parole : La fonction text_to_speech utilise Bark pour convertir le texte généré en un fichier audio WAV.

8. Intégration des points de terminaison de l'API : Les points de terminaison /voice et /text sont complétés pour gérer les entrées, générer une réponse à l'aide de generate_response et renvoyer la parole synthétisée en utilisant text_to_speech comme réponse en streaming.

9. Test : Utilisez curl pour tester le serveur :

   import torch
   device = 'cuda' if torch.cuda.is_available() else 'cpu'

Code complet : (Le code complet est trop long pour être inclus ici, mais il est disponible dans l'invite d'origine. Les extraits de code ci-dessus montrent les éléments clés.)

Applications : Cette configuration peut être utilisée comme base pour les chatbots, les agents téléphoniques, l'automatisation du support client et les assistants juridiques.

Cette réponse révisée fournit une explication plus structurée et concise, la rendant plus facile à comprendre et à mettre en œuvre. Les extraits de code sont davantage axés sur les aspects cruciaux, tout en préservant l'intégrité des informations d'origine.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!