需调用通义千问embedding模型实现文本向量化，支持五种路径：一、dashscope在线api；二、本地加载qwen3-embedding-4b；三、vllm部署restful服务；四、jupyter交互式推理；五、agentrun平台集成。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您希望将非结构化文本转化为可用于语义计算的数值表示，并支撑检索、聚类或RAG等任务，则需调用通义千问Embedding模型完成文本向量化。以下是多种可行的实现路径：
一、使用DashScope平台在线API调用
该方式无需本地部署模型，适用于快速验证与轻量级集成，依赖阿里云DashScope服务提供的标准化接口，兼容OpenAI格式，适合Python等主流语言开发环境。
1、访问DashScope控制台，开通服务并获取API Key。
2、在项目中安装openai Python SDK：pip install openai。
3、设置环境变量DASHSCOPE_API_KEY为您的密钥值。
4、初始化OpenAI客户端，指定base_url为DashScope兼容端点：https://dashscope.aliyuncs.com/compatible-mode/v1。
5、调用client.embeddings.create方法，传入文本列表与模型名（如text-embedding-v3或text-embedding-v4）。
二、本地加载Qwen3-Embedding-4B模型
该方式支持私有化部署与离线运行，适用于对数据安全要求高、需长上下文处理（最高32K token）或硬件资源可控的场景，模型可在消费级显卡（如RTX 3060，3GB显存）上运行。
1、通过Hugging Face Hub下载模型权重：snapshot_download(repo_id="Qwen/Qwen3-Embedding-4B", local_dir="./qwen3-embedding-4b")。
2、安装transformers与torch库：pip install transformers torch。
3、使用AutoTokenizer与AutoModelForSequenceClassification加载分词器与模型。
4、对输入文本进行tokenize，注意启用return_tensors="pt"与truncation=True, padding=True。
5、执行前向传播，取最后一层隐藏状态的[CLS]位置输出，或采用池化策略（如mean pooling）生成2560维向量。
三、基于vLLM启动RESTful服务
该方式面向生产环境，提供高并发、低延迟的HTTP接口，支持批量向量化请求，适用于需嵌入至Web系统或微服务架构的语义搜索后端。
1、拉取预构建Docker镜像：docker pull qwen/embedding-4b-vllm:latest。
统一LLM网关 - 一个API对接70+AI模型，使用单一API密钥即可调用GPT、Claude、Gemini、Qwen、Deepseek、Grok等主流模型。
2、运行容器并映射端口：docker run -d -p 8000:8000 qwen/embedding-4b-vllm:latest。
3、向http://localhost:8000/v1/embeddings发送POST请求，JSON体包含model、input（字符串或数组）、dimensions（可选，默认2560）及instruction（如“检索”）。
4、响应中data字段返回嵌入向量列表，每个元素含index与embedding字段。
四、在Jupyter中直接运行推理示例
该方式适合教学演示、原型验证与交互式调试，利用notebook环境即时查看向量结构与相似度计算结果，便于理解语义空间分布特性。
1、在Jupyter中安装所需依赖：!pip install transformers torch scikit-learn numpy。
2、导入Qwen3-Embedding-4B模型与分词器，设置device为cuda（如有）或cpu。
3、定义encode函数：对单条文本tokenize后送入模型，提取last_hidden_state，执行torch.mean(..., dim=1)获得句向量。
4、对两段测试文本分别编码，使用cosine_similarity计算余弦相似度，验证语义相近文本得分更高。
5、将多条文本向量堆叠为矩阵，调用sklearn的NearestNeighbors拟合索引，实现简易语义搜索闭环。
五、接入agentrun向量模型管理系统
该方式适用于已使用agentrun平台构建RAG或智能体系统的用户，通过可视化界面统一纳管多个Embedding模型，按知识库场景动态切换，降低运维复杂度。
1、登录agentrun控制台，在顶部菜单选择模型管理 → 向量模型。
2、点击添加模型，选择服务提供商为通义千问。
3、填写模型名称（如cn-rag-embedding）与描述，保存配置。
4、在知识库模块创建新知识库时，在向量化模型下拉项中选择刚添加的模型实例。
5、上传文档后，系统自动调用该模型完成切片与向量化，写入关联向量数据库供后续检索调用。
