必须用elasticsearch替代默认向量库以支撑高并发与千万级文档实时召回，通过es ai搜索增强版集群、混合检索配置、nginx代理层、命名空间路由及压测熔断机制实现高性能稳定运行。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
要在Dify中支撑每秒数百次用户提问、千万级文档实时召回且不降质，必须绕过默认向量库的单点瓶颈，将Elasticsearch作为混合检索主干引擎接入，并启用并发分片与缓存协同机制。
准备支持高并发的ES集群与索引
使用腾讯云ES AI搜索增强版9.1.3集群，选择3节点数据节点（非协调节点）+2节点协调节点架构，禁用master节点选举以避免脑裂；协调节点仅处理HTTP请求与查询路由，不参与数据存储与写入。
创建索引时显式启用routing_partition_size=2，并在mapping中为dense_vector字段配置knn参数：similarity: cosine、index: true、type: dense_vector、dims: 768；同时为content字段配置ik_max_word分词器与term_vectors: with_positions_offsets。
【必须关闭refresh_interval自动刷新】，改用bulk写入后手动调用POST /my_index/_refresh，否则高频文档更新将触发频繁段合并，导致CPU飙升与查询延迟突增。
在Dify控制台配置混合检索策略
进入「数据集」→「新建知识库」→「高级设置」，勾选「启用混合检索」，在「外部检索引擎」下拉框中选择「Elasticsearch」。
填写ES连接信息：Host填协调节点内网地址（如http://es-coord-01:9200），Index name填已创建的索引名（如kb_finance_2024），Authentication选择「Basic Auth」并输入用户名密码；Advanced Settings中启用「Enable query routing by namespace」。
权重配置按业务场景动态调整：若查询多为精确术语（如“SOP-2023-004第5.2条”），设keyword_weight为0.7、semantic_weight为0.3；若多为语义模糊问题（如“怎么申请海外差旅补贴？”），则反向设为0.3和0.7。
部署并发感知的检索代理层
第一步：在Dify所在VPC内新建一台4核8G ECS，安装nginx 1.24+，配置upstream指向全部3个ES数据节点的9200端口，启用least_conn负载均衡策略。
第二步：在nginx中添加proxy_cache_path指令，定义10GB本地磁盘缓存区，key为$host$request_uri，inactive设为30m，max_size设为8g；对GET /_search请求启用proxy_cache，但排除含"vector_query"或"runtime_mappings"的请求——这两类请求必须直连，不可缓存。
第三步：将Dify后台的ES Host地址替换为该nginx代理IP，使所有检索请求先经代理层分流与缓存，避免单点连接数打满。
注意：nginx proxy_buffer_size必须设为128k，否则ES返回的大结果集（含metadata嵌套对象）会触发400 Bad Request错误。
启用命名空间隔离与分片路由
方法一：上传文档时，在「元数据」栏手动填写namespace字段值，如finance_policy、hr_handbook、it_ops_manual；Dify会自动将该值注入ES查询DSL的term过滤器中。
方法二：在Dify工作流中调用「检索节点」前，插入「变量设置」节点，动态生成namespace值，例如从用户角色提取部门编码：{{ user.department | replace('HR','hr_handbook') | replace('Finance','finance_policy') }}。
方法三：修改Dify源码中的elasticsearch_retriever.py，在build_query()函数末尾插入routing参数：query_body['routing'] = namespace，确保ES按routing值将请求精准路由至对应分片，规避全局广播查询。
压测与熔断配置
使用JMeter模拟1000并发用户，线程组设置Ramp-up时间为60秒，HTTP请求路径为/api/v1/chat-messages，body中query字段填“报销发票抬头错了怎么改”，Header中添加Authorization: Bearer {valid_key}。
观察ES集群监控面板中的Search Rate、Query Latency P99、Thread Pool Search Rejected Count三项指标；若rejected count持续＞0，立即扩容协调节点或调高thread_pool.search.size参数至64。
在Dify的「环境变量」中添加RETRIEVAL_TIMEOUT_MS=3500、MAX_RETRY_ATTEMPTS=2，防止单次ES超时拖垮整个对话链路。
