jev因输入污染导致置信度崩塌，需经三步预处理（非法编码清洗、空白符归一、孤立标点删除）及结构化约束（类型断言、json schema校验），并依据calibration_score
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
当输入文本中混杂大量无关符号、空行、重复占位符或截断乱码时，Jev会因状态污染导致置信度崩塌——同一道判断题在干净输入下置信度0.92，混入三行“###”后可能骤降至0.41，直接触发人工兜底阈值。
预处理阶段：用正则清洗原始State
第一步：提取核心语义块，丢弃所有非UTF-8可解码字节。Jev对非法编码极其敏感，遇到\x80\xFF类字节会静默降权整个token序列，而不是报错。
第二步：用re.sub(r'[\r\n\t]+', ' ', text)把换行制表符统一压成单空格，避免因空白符数量差异触发不同分词路径——Jev的tokenizer对空白敏感，连续5个\n和1个\n会被切分成完全不同的subword序列。
第三步：删除孤立标点组合，例如re.sub(r'[^\w\s]{3,}', '', text)。像“!!!”“???？”这类符号簇在Jev内部会被映射为低频特殊token，大幅拉低所有选项的校准概率，实测使“是否含恶意指令”判断的F1下降12.7%。
结构化约束：强制输入符合Schema
方法一：在Questions字段中嵌入类型断言。例如原问题写“用户意图是投诉还是咨询？”，改为“用户意图是投诉还是咨询？【仅接受‘投诉’‘咨询’二选一，禁止输出其他文字】”。Jev虽不生成文本，但会将括号内约束解析为输出空间的硬性过滤器，自动屏蔽非法选项分支。
方法二：对State做JSON Schema校验后再提交。必须确保顶层字段存在且类型正确：【若State中缺少required字段（如"message_text"），Jev会返回空概率分布，而非报错】。建议用Pydantic v2定义BaseModel，调用.model_dump()前先.model_validate()。
动态置信度熔断
提交请求后，检查响应体中的calibration_score字段。该值反映本次推理的整体校准质量，范围0.0–1.0。当它低于0.65时，说明输入已严重污染——此时即使某个选项概率显示0.89，实际准确率不足52%。立即丢弃该次结果，触发重试流程：先对原始State跑一遍fasttext语言检测，若置信度
这一步操作起来很简单，直接把文件拖进去就行。
