Qwen3-Embedding-4B是当前中文语义保真度最高的嵌入模型之一，MTEB中文榜单Recall@10达86.3%，显著优于bge-small-zh和gte-small；部署需装transformers与torch、用配套tokenizer、控制文本块300字±30字并重叠30字、向量连元数据存ChromaDB持久化。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
要让千问模型基于企业内部文档精准回答问题，必须打通“文档切分→向量编码→相似检索→上下文拼接→增强生成”整条链路，任何一个环节断开都会导致答案失准或来源不可追溯。
用Qwen3-Embedding构建语义向量索引
这一步不是简单调用API，而是决定后续所有检索质量的根基。Qwen3-Embedding-4B是当前中文场景下语义保真度最高的嵌入模型之一，它在MTEB中文榜单上Recall@10达86.3%，显著高于bge-small-zh（79.1%）和gte-small（75.6%）。
① 安装transformers与torch，确认CUDA可用；若无GPU，改用cpu设备并启用flash_attention_2优化推理速度。
② 从Hugging Face加载模型：AutoTokenizer.from_pretrained("Qwen/Qwen3-Embedding")，注意【必须使用配套tokenizer，混用其他分词器会导致向量漂移】。
③ 对文本块执行批量编码：每块控制在300字±30字，重叠区设为30字——太小会割裂语义，太大则引发冗余召回。
④ 将生成的768维向量连同source、page_num等元数据写入ChromaDB，调用persist()落地为本地文件，避免重启后索引丢失。
选Embedding模型：看三组硬指标，不看排行榜名次
别被“SOTA”标签带偏。真正影响你业务效果的是三组实测指标：向量维度、平均L2范数、Recall@5真实查询命中率。
方法一：轻量验证用all-MiniLM-L6-v2
适合原型阶段快速跑通流程，768维，单次编码耗时
方法二：中文强项选bge-m3
支持多粒度检索（dense/sparse/hybrid），对PDF中表格文字、页眉页脚噪声鲁棒性强，但需额外配置rerank模块才能发挥全部能力。
方法三：生产级首选Qwen3-Embedding-4B
【输出向量为1024维，且L2范数集中在1.8~2.2区间，与Qwen3-4B-Instruct-2507的输入空间天然对齐】，省去跨模型归一化步骤，直接复用同一套tokenizer可减少3%以上的语义偏移。
向量数据库选型：按数据量和更新频率决策
Chroma够用的前提是：单机部署、日增文档
第一步：数据量零配置启动，chromadb.PersistentClient()一行代码初始化，插入吞吐达1200 docs/s（RTX 3060）。但要注意【超过20万块后搜索延迟陡增至800ms以上，此时必须切Milvus】。
第二步：数据量10万–500万块 → 切Milvus 2.4
启用IVF_SQ8量化索引，nlist=4096，内存占用比Chroma低47%，支持按collection设置副本数。关键操作：建表时必须指定consistency_level="Strong"，否则高并发写入时可能丢失最新chunk。
第三步：需要混合检索或细粒度权限 → 上Weaviate
可同时挂载BM25关键词索引与向量索引，适合FAQ+技术手册混合知识库；支持RBAC权限模型，能精确控制某部门仅可见其所属项目文档。
把检索结果喂给千问模型生成答案
不是把Top 3文档原文粗暴拼接就完事。Qwen3-4B-Instruct-2507要求结构化Prompt，否则会忽略context自行编造。
方法一：用LangChain的RetrievalQA链
设置retriever = ChromaVectorStoreRetriever(k=3)，再传入自定义prompt：
“你是一个严谨的知识问答助手，所有回答必须严格基于以下参考资料。若资料未覆盖问题内容，请明确回答‘未在知识库中找到相关信息’。”
方法二：手写拼接逻辑（推荐）
将重排序后的每段文档用<doc id="1">...</doc>包裹，插入用户问题前；调用model.apply_chat_template()时启用add_generation_prompt=True，确保生成起始token正确。
这一步操作起来很简单，直接把文件拖进去就行。
