相似度识别用于发现变形绕过攻击，通过向量化HTTP请求并计算语义相似度，精准捕获SQL注入变体、批量路径探测等未知威胁；其架构基于Nginx日志采集与后端向量数据库协同实现高效实时检测。
为什么需要相似度识别恶意请求
传统WAF或日志规则匹配只能发现已知攻击模式，对变形绕过（如参数编码变化、字段顺序调换、冗余空格/注释）往往失效。相似度识别把每次HTTP请求结构化为向量，通过计算向量距离快速定位“看起来不同但语义相近”的可疑流量，比如同一SQL注入变体的多次尝试，或批量扫描中略有差异的路径探测。
核心架构拆解：Nginx + 向量数据库协同流程
Nginx不直接处理向量化，而是作为日志采集与前置过滤入口；真实向量生成和相似检索由后端服务完成。典型链路如下：
- 日志增强采集：在Nginx中用log_format提取关键字段（method、uri、args、headers、body前200字等），并添加唯一trace_id，输出到本地文件或转发至Kafka
- 请求向量化：消费日志后，用轻量模型（如Sentence-BERT微调版）或特征工程（TF-IDF + n-gram + 请求结构标记）将请求映射为固定维度向量（如768维）
- 向量入库与索引：写入支持近似最近邻（ANN）检索的向量数据库（如Milvus、Qdrant、Weaviate），建立基于HNSW或IVF的索引，设置相似度阈值（如cosine > 0.85）
- 实时相似判定：新请求向量化后，10ms内查出Top-K最相似历史请求；若命中高风险簇（如近1小时内已有3次相似攻击记录），触发告警或动态封禁IP
关键实现细节与避坑点
实际落地时，几个环节容易影响效果：
- 向量表征要兼顾结构与语义：纯文本向量易受无关字符干扰，建议拼接结构化特征（如URI路径深度、参数个数、特殊符号密度）作为辅助维度，再做归一化融合
- 避免冷启动与误报：首次部署时向量库为空，可预加载已知攻击样本向量；对低频正常请求（如含随机token的API），加入行为上下文过滤（如是否伴随高频403/404）再进相似计算
- Nginx侧轻量兜底：可在Nginx用lua-nginx-module做简单指纹初筛（如正则匹配常见payload片段），命中后再走向量库精筛，降低后端压力
- 向量时效性管理：攻击手法会演化，建议按时间窗口（如7天）自动老化旧向量，或按聚类中心稳定性动态淘汰离群低活跃簇
效果验证与迭代方向
上线后可通过两类指标衡量价值：一是相似簇检出率（对比人工标注的变形攻击样本），二是运营响应效率（从日志出现到封禁平均耗时）。后续可叠加：请求图谱分析（将IP→UA→Referer→Payload向量联合建模）、对抗样本反馈训练（把误判请求加入负样本集微调向量化模型），让系统持续适应新型绕过手段。
