Aufbau eines KI-Vertriebsagenten: Von der Stimme zum Pitch.

Projektübersicht

Bei der EnCode 2025-Herausforderung besteht mein Ziel darin, einen KI-Vertriebsagenten zu schaffen, der zu einer hochwertigen, natürlichen und reibungslosen Sprachinteraktion fähig ist und eine extrem niedrige Latenzzeit anstrebt, wie ein Erlebnis, als würde man mit einer echten Person sprechen. Letztendlich habe ich ein System entwickelt, das ein komplettes Verkaufsgespräch für ein Online-Coaching-Center abwickeln kann, von der Begrüßung eines potenziellen Kunden über das Verstehen seiner Bedürfnisse bis hin zur Empfehlung relevanter Kurse, und das alles in einer positiven, freundlichen und menschenähnlichen Stimme. Stellen Sie sich eine Verkäuferin vor, die unermüdlich ist und immer gut aussieht!

Technologie-Stack

• Sprachverarbeitung: Whisper Large V3 Turbo (sorgt für klare Spracherkennung)
• Kernlogik: LLaMA 3.3 70B (Intelligenten Dialog verwirklichen)
• Sprachausgabe: F5 TTS (erzeugt natürliche und flüssige Sprachantworten)
• Datenbank: Tannenzapfen-Vektordatenbank (zur Kontextverwaltung und Informationsabfrage)
• Demoplattform:Google Colab

So funktioniert das System

Das System folgt drei Hauptschritten:

1. Speech to Text (STT)
2. Groß angelegtes Sprachmodell (LLM)
3. Text-to-Speech (TTS)

Flussdiagramm: Benutzer -> LLM ->

Detaillierter Prozess:

Der Kunde spricht –> Whisper transkribiert den Text.
Der Phasenmanager (unter Verwendung regulärer Ausdrücke) verfolgt die Gesprächsphasen.
Pinecone extrahiert relevante Daten aus der Datenbank.
LLaMA 3.3 70B Erstellen Sie die perfekte Antwort.
F5 TTS wandelt Text in natürliche Sprache um.

Hauptfunktionen

• Intelligente Stimmenauswahl: Bietet 6 verschiedene KI-Stimmen (2 männliche und 4 weibliche)
• Kontextbezogene Antwort:Basierend auf Vektorähnlichkeitssuchtechnologie
• Strukturierter Dialogablauf: Kontrolliert von einem engagierten Bühnenmanager

Aktuelle Einschränkungen

• Demo-Umgebung: Läuft basierend auf Google Colab.
• Speicherlimit: Kontextfensterlimit von 8.000 Token.
• Computing-Ressourcenverbrauch: Der Ressourcenverbrauch ist groß.
• API-Abhängigkeiten: Die Kernfunktionalität hängt von mehreren APIs ab.
• Hohe Latenz: Es liegt ein bestimmtes Latenzproblem vor.

Erfahrungszusammenfassung

Technische Aspekte:

• Anwendung der Vektordatenbank: Durch die Verwendung der Pinecone-Vektordatenbank konnte ich erkennen, wie die Vektordatenbank die Spielregeln ändern kann, wenn das Kontextfenster begrenzt ist. Die Ähnlichkeitssuchfunktion auf Millisekundenebene kann den Gesprächsverlauf und die Trainingsdaten effektiv verarbeiten und ist sehr leistungsstark.
• Bedeutung des Bühnenmanagements: Indem Sie die Gesprächsphase klar gestalten, können Sie leicht Beispiele integrieren, die für diese Phase relevant sind, z. B. wie man pitcht, welche Fragen man stellt usw.
• Web-Integration: Die Verwendung von Fastapi für eine effiziente Front-End- und Back-End-Dateninteraktion ist von entscheidender Bedeutung. Mit Webhooks können wir während des gesamten Gesprächs Daten austauschen und in Verbindung bleiben, während wir nur einmal einen KI-Anruf initiieren.

Systemdesign:

• Bedeutung von Chunking:Das Aufteilen von Audio in 5 Sekunden lange Segmente zur Verarbeitung, anstatt auf vollständige Sätze zu warten, verbessert das Benutzererlebnis erheblich und verkürzt die Verarbeitungszeit. Dafür muss die beste Balance zwischen Genauigkeit und Geschwindigkeit gefunden werden.
• Vorteile der modularen Architektur: Die Zerlegung des Systems in unabhängige Dienste (STT, LLM, TTS) vereinfacht den Entwicklungs- und Debugging-Prozess erheblich. Wenn ein Problem auftritt, können Sie schnell das Teil finden, das repariert werden muss.

Tatsächliche Einschränkungen:

• API-Kosten: Durch die Verwaltung mehrerer API-Aufrufe (Whisper, LLAMA) habe ich gelernt, wie wichtig es ist, die API-Nutzung zu optimieren. Die Minimierung der Anzahl der API-Aufrufe bei gleichzeitiger Beibehaltung der Geschwindigkeit ist eine große Herausforderung.
• Latenz reduzieren: Die Reduzierung der Latenz ist sehr schwierig, wenn ständig Daten aus dem Internet abgerufen und verarbeitet werden. In Zukunft werde ich versuchen, die Häufigkeit, mit der ich Daten aus dem Internet übertrage oder herunterlade, so gering wie möglich zu halten.

Unerwartete Herausforderungen:

• Prompt Word Engineering: Prompt Word Engineering ist von entscheidender Bedeutung. Sie bestimmt, ob das Modell sich kohärent wie ein Mensch ausdrücken kann oder ob es dieselben Sätze wiederholt.
• Beschränkung des Kontextfensters: Die 8K-Token-Beschränkung zwingt mich dazu, den Kontext intelligent zu verwalten. Anstatt alle Informationen zu speichern, konnte ich durch die Beschaffung der relevanten Teile aus einer Vektordatenbank eine Struktur für das LLM entwerfen, die alle notwendigen Informationen enthielt.

Zukunftspläne

• Verwenden Sie Multithreading-Technologie, um die Latenz zu reduzieren.
• Mehrsprachige Unterstützung hinzugefügt.
• Fügen Sie weitere Arten von Bots hinzu, z. B. „Lead-Bots“, um Kunden nach einem ersten Lead zu kontaktieren, um einen Deal abzuschließen.

Erlebnisprojekt

https://www.php.cn/link/55e2c9d06a7261846e96b8bb2d4e1fe5

GitHub ---

Senden Sie gerne Ihre wertvollen Vorschläge im Kommentarbereich!

Das obige ist der detaillierte Inhalt vonAufbau eines KI-Vertriebsagenten: Von der Stimme zum Pitch.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!