AI 영업 에이전트 구축: 음성부터 홍보까지.

사업개요

EnCode 2025 챌린지의 목표는 고품질의 자연스럽고 원활한 음성 상호 작용이 가능한 AI 판매 에이전트를 만들고, 실제 사람과 대화하는 것과 같은 초저지연을 달성하기 위해 노력하는 것입니다. 궁극적으로 저는 잠재 고객에게 인사하는 것부터 고객의 요구 사항을 이해하고 관련 과정을 추천하는 것까지 온라인 코칭 센터의 전체 영업 대화를 긍정적이고 친근하며 인간다운 목소리로 처리할 수 있는 시스템을 구축했습니다. 지치지 않고 항상 최선을 다하는 영업사원을 상상해 보세요!

기술 스택

• 음성 처리: Whisper Large V3 Turbo(명확한 음성 인식 보장)
• 핵심 로직: LLaMA 3.3 70B(지능형 대화 구현)
• 음성 출력: F5 TTS(자연스럽고 부드러운 음성 응답 생성)
• 데이터베이스: 솔방울 벡터 데이터베이스(컨텍스트 관리 및 정보 검색용)
• 데모 플랫폼: Google Colab

시스템 작동 원리

시스템은 세 가지 주요 단계를 따릅니다.

1. 음성-텍스트(STT)
2. 대규모 언어 모델(LLM)
3. 텍스트 음성 변환(TTS)

흐름도: 사용자 -> STT -> LLM -> 사용자

세부과정:

1. Customer Speaks -> Whisper가 텍스트를 복사합니다.
2. 정규 표현식을 사용하는 단계 관리자는 대화 단계를 추적합니다.
3. Pinecone은 데이터베이스에서 관련 데이터를 추출합니다.
4. LLaMA 3.3 70B 완벽한 답변을 작성하세요.
5. F5 TTS는 텍스트를 자연스러운 음성으로 변환합니다.

주요 기능

• 지능형 음성 선택: 6가지 AI 음성 제공(남자 2명, 여자 4명)
• 상황 인식 답변: 벡터 유사성 검색 기술 기반
• 구조화된 대화 흐름: 전담 무대 매니저가 제어

현재 제한사항

• 데모 환경: Google Colab 기반으로 실행됩니다.
• 메모리 제한: 컨텍스트 창 제한은 8,000개 토큰입니다.
• 컴퓨팅 리소스 소모: 리소스 사용량이 많습니다.
• API 종속성: 핵심 기능은 여러 API에 따라 다릅니다.
• 긴 지연 시간: 특정 지연 문제가 있습니다.

경험 요약

기술적 측면:

• 벡터 데이터베이스 적용: Pinecone 벡터 데이터베이스를 사용하면 컨텍스트 창이 제한되어 있을 때 벡터 데이터베이스가 게임의 규칙을 어떻게 바꿀 수 있는지 깨닫게 되었습니다. 밀리초 수준의 유사성 검색 기능은 대화 이력 및 학습 데이터를 효과적으로 처리할 수 있으며 매우 강력합니다.
• 무대 관리의 중요성: 대화 단계를 명확하게 함으로써 피칭 방법, 질문 내용 등 해당 단계와 관련된 예시를 쉽게 포함할 수 있습니다.
• 웹 통합: 효율적인 프런트엔드 및 백엔드 데이터 상호 작용을 위해서는 fastapi를 사용하는 것이 중요합니다. 웹후크를 사용하면 대화 전반에 걸쳐 데이터를 교환하고 AI 호출을 한 번만 시작하면서 연결을 유지할 수 있습니다.

시스템 설계:

• 청킹의 중요성:완전한 문장을 기다리는 대신 오디오를 5초 길이의 세그먼트로 나누어 처리하면 사용자 경험이 크게 향상되고 처리 시간이 단축됩니다. 이를 위해서는 정확성과 속도 사이에서 최적의 균형을 찾아야 합니다.
• 모듈식 아키텍처의 장점: 시스템을 독립적인 서비스(STT, LLM, TTS)로 분해하면 개발 및 디버깅 프로세스가 크게 단순화됩니다. 문제가 발생하면 수정해야 할 부분을 빠르게 찾을 수 있습니다.

실제 제한사항:

• API 비용: 여러 API 호출(Whisper, LLAMA)을 관리하면서 API 사용 최적화의 중요성을 배웠습니다. 속도를 유지하면서 API 호출 수를 최소화하는 것은 큰 과제입니다.
• 지연 시간 단축: 인터넷에서 데이터를 지속적으로 가져오고 처리하는 경우 지연 시간을 줄이는 것은 매우 어렵습니다. 앞으로는 인터넷에서 데이터를 전송하거나 다운로드하는 횟수를 최소화하도록 노력하겠습니다.

예기치 못한 도전:

• 프롬트어 엔지니어링: 프롬프트어 엔지니어링은 모델이 사람처럼 일관되게 표현할 수 있는지, 아니면 같은 문장을 반복할지를 결정하는 중요한 요소입니다.
• 컨텍스트 창 제한: 8k 토큰 제한으로 인해 컨텍스트를 현명하게 관리해야 합니다. 모든 정보를 저장하는 대신 벡터 데이터베이스에서 관련 부분을 가져오는 덕분에 필요한 모든 정보가 포함된 LLM 구조를 설계할 수 있었습니다.

향후 계획

• 멀티 스레딩 기술을 사용하여 대기 시간을 줄입니다.
• 다국어 지원이 추가되었습니다.
• '리드 봇'과 같은 더 많은 유형의 봇을 추가하여 초기 리드 이후 고객에게 연락하여 거래를 성사시키세요.

체험 프로젝트

https://www.php.cn/link/55e2c9d06a7261846e96b8bb2d4e1fe5

깃허브 ---

댓글 영역에 소중한 제안을 제출해 주셔서 감사합니다!

위 내용은 AI 영업 에이전트 구축: 음성부터 홍보까지.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!