如何在扣子中利用文本分块（Chunk）策略优化敏感词过滤机制-人工智能-PHP中文网

必须对超2800字符文本分块处理，依据空行或标题层级切分并标注type标签（如contact_risk、compliance_risk）和实体标签（如#entity:wechat），再绑定对应敏感词过滤策略实现精准拦截或改写。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如何在扣子中利用文本分块（chunk）策略优化敏感词过滤机制

在扣子平台配置敏感词过滤时，若用户输入“加微信”“稳赚不赔”等违规表述却未被拦截，往往不是词库没上传，而是文本未经合理分块就直接送入语义检测模块——长文本中关键违规片段被上下文稀释，语义向量偏离阈值，导致漏判。

先判断是否需要分块

打开待过滤的原始文本（如客服对话日志、用户提交表单），在扣子工作流中新建一个Code节点，粘贴运行以下代码：

len(user_input.replace(' ', '').replace('\n', ''))

若返回值【大于2800】，必须进入分块流程；小于等于2800则跳过本阶段，直接走敏感词过滤标准链路。

按语义边界切分文本

固定字符切分会让“该产品保本保息，闭眼买都行”被切成两半，前半句触发关键词匹配，后半句落入语义盲区。必须依据文本天然结构下刀。

方法一：识别空行与标题层级

在Code节点中执行：

import re<br>segments = re.split(r'\n\s*\n', user_input.strip())<br>segments = [s.strip() for s in segments if s.strip()]

该正则保留原文段落逻辑，适合政策文件、客服工单等有明确空行分隔的文本。

方法二：精准捕获标题锚点（推荐用于技术文档/合规手册）

在Code节点中执行：

import re<br>title_pattern = r'^\s*(?:\d+\.\d+\.\d+|\d+\.\d+|\d+|[IVXLCDM]+\.\s+|第[一二三四五六七八九十]+[章节]\s*|#{1,3}\s+.+)$'<br>lines = user_input.split('\n')<br>segments = []<br>current = []<br>for line in lines:<br>  if re.match(title_pattern, line.strip()):<br>    if current:<br>      segments.append('\n'.join(current))<br>    current = [line]<br>  else:<br>    current.append(line)<br>if current:<br>  segments.append('\n'.join(current))

这段代码能区分“1.2.3 风控策略”和普通编号列表“① ② ③”，避免把操作步骤误判为标题导致错切。