使用汇编，QDRANT和DEEPSEEK-R1构建音频抹布

本指南展示了建立一个由AI驱动的聊天机器人，该聊天机器人将录音（会议，播客，访谈）转换为交互式对话。它利用汇编的汇编，QDRANT进行有效的数据存储，而通过Sambanova Cloud进行DeepSeek-R1进行智能响应，从而创建了检索增强发电（RAG）系统。聊天机器人回答了诸如“ [演讲者]怎么说？”之类的问题。或“总结此细分市场”。简化的Web界面允许用户实时上传音频，查看成绩单并与聊天机器人进行交互。

关键特征和学习目标：

• 精确的音频转录：利用汇编API进行扬声器诊断的准确转录，将音频对话转换为结构化文本数据。
• 有效的矢量数据库：使用QDrant使用拥抱面部模型来存储并快速检索转录的音频内容的嵌入。
• 上下文感知的响应：使用DeepSeek-R1模型（通过Sambanova Cloud）实现抹布，以生成上下文相关的聊天机器人响应。
• 交互式Web界面：开发一个简化的Web应用程序，供用户上传音频文件，可视化成绩单并动态与聊天机器人互动。
• 端到端的工作流程：集成一个完整的工作流程，结合音频处理，矢量数据库管理和AI驱动的响应生成，为基于可扩展的音频聊天应用程序。

本文是数据科学博客马拉松的一部分。

目录：

• 汇编概述
• Sambanova Cloud解释了
• QDRANT：高速矢量数据库
• DeepSeek-R1：强大的语言模型
• 构建抹布型号：AssemblyAi＆DeepSeek-R1
  • 先决条件
  • 检索增强发电（RAG）实施
  • 简化应用程序开发
• 结论
• 常见问题

汇编概述：

Assemblyai是从音频中提取可行见解的强大工具。它的AI驱动语音到文本引擎提供了高度准确的转录，甚至可以有效地处理重音和背景噪声。这使其非常适合转录播客，分析客户呼叫或生成视频字幕。

Sambanova云：

Sambanova Cloud使您可以运行大型开源模型（例如DeepSeek-R1（671B参数），速度要比传统方法快得多，从而消除了复杂的基础架构管理。它利用可重新配置的数据流单元（RDU），通过以下方式进行出色的性能

• 高内存存储：消除恒定模型重新加载。
• 优化的数据流：专为高通量任务而设计。
• 即时模型切换：微秒中的模型之间切换。
• 简化的DeepSeek-R1部署：无需复杂的设置。
• 统一培训/微调：全部在一个平台内。

QDRANT：高速矢量数据库：

QDRANT是针对AI应用程序优化的非常快速的矢量数据库。它在相似性搜索方面表现出色，非常适合推荐系统，图像搜索和聊天机器人等任务。 Qdrant迅速找到了复杂数据（例如文本嵌入或视觉特征）的最接近的匹配。

DeepSeek-R1：强大的语言模型：

DeepSeek-R1是一种先进的语言模型，将类似人类的适应性与尖端AI结合在一起。它的优势在于其理解背景，语气和意图的能力，产生直觉和精确的反应。对于各种自然语言处理任务，包括内容创建，翻译，代码调试和报告摘要非常有效。

构建抹布型号：AssemblyAi＆DeepSeek-R1

本节详细介绍了抹布系统的构建。

1。先决条件：

克隆存储库： git clone https://github.com/karthikponna/chat_with_audios.git

创建并激活虚拟环境（为MacOS/Linux和Windows提供的说明）。

安装依赖项： pip install -r requirements.txt

在.env文件中设置环境变量（AssemblyAi和Sambanova API密钥）。

2。检索增强发电（RAG）实施：

代码（在rag_code.py中）是使用Llama索引构建的，并包含以下功能：

• 批处理处理和嵌入：有效处理大型数据集。
• QDRANT数据库交互：设置并管理QDRANT矢量数据库。
• 查询嵌入和检索：将查询转换为嵌入，并从QDRANT检索相关结果。
• 抹布智能查询助理：结合了检索和Sambanova Cloud LLM，以获取上下文感知的答案。
• 带有汇编的音频转录：用扬声器诊断转录音频文件。

（省略了详细的代码片段，但原始响应提供了完整的代码。）

3。简化应用程序开发：

app.py文件创建一个简化的Web应用程序，其中具有以下功能：

• 音频文件上传：用户上传音频文件（MP3，WAV，M4A）。
• 转录显示：显示汇编生成的成绩单。
• 聊天机器人交互：允许用户询问有关音频内容的问题。
• 会话状态管理：维护聊天历史记录和文件缓存。

（省略了详细的代码片段，但原始响应提供了完整的代码。）

结论：

该项目成功地集成了AssemblyAi，Sambanova Cloud，Qdrant和DeepSeek-R1，以创建使用RAG的功能强大的基于音频的聊天机器人。提供的代码和说明使用户能够构建和部署此应用程序。 GitHub存储库提供了进一步的探索和定制机会。

GitHub repo： https：//www.php.cn/link/4803eb7efe3ec7031867d3f9fe9f4f4dc5

常见问题（常见问题解答）：

（原始响应包含有关抹布，嵌入模型自定义，提示模板修改和使用QDRANT的FAQ的答案。）

以上是使用汇编，QDRANT和DEEPSEEK-R1构建音频抹布的详细内容。更多信息请关注PHP中文网其他相关文章！