应使用qwen3-embedding-4b生成句向量并计算余弦相似度，或结合vllm加速批量推理，必要时接入qwen3-reranker-0.6b进行交叉编码精细化打分。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您希望量化两段中文文本在语义层面的接近程度，而非仅依赖字面重复或关键词匹配，则需要借助专为语义建模设计的嵌入模型。Qwen3-Embedding-4B 是通义千问团队开源的高质量文本向量化模型，它能将任意长度文本映射为2560维稠密向量，使语义相近的文本在向量空间中距离更近。以下是实现该目标的具体方法：
一、使用 Qwen3-Embedding-4B 生成句向量并计算余弦相似度
该方法基于双塔结构，对输入文本独立编码，输出高维语义向量；通过计算两个向量间的余弦值反映语义相似程度，取值范围为[-1, 1]，越接近1表示语义越一致。此方式支持长文本（最高32768 tokens）、多语言，并具备动态降维能力以适配不同硬件条件。
1、安装依赖库：执行 pip install transformers torch sentence-transformers 命令获取基础运行环境。
2、加载模型与分词器：调用 AutoModel.from_pretrained("Qwen/Qwen3-Embedding-4B") 和 AutoTokenizer.from_pretrained("Qwen/Qwen3-Embedding-4B") 初始化组件。
3、对两段文本分别进行编码：使用 model.encode([text_a, text_b]) 获取对应向量，注意启用 normalize_embeddings=True 参数确保向量单位化。
4、计算余弦相似度：利用 torch.nn.functional.cosine_similarity 对两个输出向量执行运算，结果即为最终相似度分数。
二、结合 vLLM 加速批量向量推理
当需处理大量文本对（如文档去重、知识库检索）时，单次CPU推理效率偏低。vLLM 提供高效的PagedAttention机制与连续批处理能力，可显著提升吞吐量，尤其适合部署在A10/A100等显卡上运行Qwen3-Embedding-4B。
1、安装 vLLM 支持包：运行 pip install vllm 完成扩展依赖安装。
2、启动嵌入服务：执行 python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen3-Embedding-4B --dtype half --tensor-parallel-size 1 启动本地API服务。
3、发送嵌入请求：构造 JSON 请求体，包含 input 字段传入待编码文本列表，调用 /v1/embeddings 接口获取向量数组。
4、本地计算相似度：将返回的两组向量导入 NumPy，使用 numpy.dot(a, b) / (numpy.linalg.norm(a) * numpy.linalg.norm(b)) 得到标量结果。
三、接入通义千问 Reranker 模型进行精细化打分
当仅靠向量距离难以区分歧义场景（例如“苹果手机”与“苹果水果”共现于同一段落），可引入 Qwen3-Reranker-0.6B 模型。它采用交叉编码架构，将查询与候选文本拼接后联合建模，输出0～1之间的细粒度相关性概率，更适合高精度匹配任务。
1、加载重排序模型：调用 AutoModelForSequenceClassification.from_pretrained("Qwen/Qwen3-Reranker-0.6B") 并设置 num_labels=1。
2、构建输入格式：将两段文本按 "[QUERY]"+query_text+"[DOC]"+doc_text 方式拼接，送入分词器获得 input_ids 与 attention_mask。
3、执行前向传播：调用 model(**inputs).logits.squeeze() 获取原始打分值。
4、归一化输出：应用 Sigmoid 函数 torch.sigmoid(score) 将结果压缩至0～1区间，作为最终语义相关性置信度。
