文心一言处理非结构化中文文本需五步清洗：一、统一utf-8无bom编码并清除不可见字符；二、用beautifulsoup剥离html及广告噪声；三、归一化中英文标点与空格；四、按话术模板或标点密度拆分语义段落；五、基于词典实现中文实体模糊归一化。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您正在使用文心一言处理非结构化中文文本（如网页爬取内容、社交媒体评论、OCR识别结果或PDF提取文本），常会遇到乱码、重复段落、HTML残留、广告干扰、全角空格混杂等问题，导致模型输入质量下降。以下是针对该场景的多种数据清洗与预处理操作方法：
一、统一编码并清除不可见控制字符
中文非结构化数据常因采集渠道不同而混用UTF-8（含BOM）、GBK、GB2312等编码，且易嵌入零宽空格（U+200B）、软回车（U+2028）、不间断空格（U+00A0）等不可见字符，造成分词断裂或正则匹配失效。
1、用Notepad++打开原始TXT或CSV文件，点击“编码”菜单 → 选择“转为UTF-8无BOM格式”，另存为clean_input.txt。
2、在Python中使用pandas读取时强制指定encoding='utf-8'，并添加on_bad_lines='skip'参数跳过编码异常行。
3、对全部字符串列执行清洗：先调用strip()去除首尾空白，再用正则re.sub(r'[\u200b-\u200f\uFEFF\u00A0\u3000\u2028\u2029]+', '', text)批量剔除常见不可见符。
4、对含数字的字段（如“￥12,345.67”），先str.replace('￥', '').replace(',', '').replace(' ', '')，再尝试转换为float类型。
二、剥离HTML标签与广告噪声块
从网页或公众号导出的文本常残留
1、使用BeautifulSoup4解析HTML源码，调用soup.get_text()获取纯文本，再通过soup.find_all(['script', 'style', 'nav', 'footer'])定位并decompose()删除冗余区块。
2、构建广告句式规则库，例如包含“【.*?】”“\d{4}年\d{1,2}月\d{1,2}日.*?发布”“扫码.*?[微信|公众号]”的段落，用re.findall匹配后整段剔除。
3、对剩余文本按换行符切分为段落后，计算每段字符数与中文占比（len(re.findall(r'[\u4e00-\u9fff]', para)) / len(para)），过滤掉中文占比低于0.3或长度小于10字的无效段。
三、归一化中文标点与空格格式
OCR识别或用户手写输入易产生全角/半角混用（如“，”与“,”、“。”与“.”）、连续多个空格或制表符，影响后续NLP任务的token对齐与语义建模。
1、将所有中文标点强制映射为全角形式：用str.translate(str.maketrans('.,!?;:"()[]{}', '，。！？；：“（）【】｛｝'))实现批量替换。
2、将连续空白字符（包括\t、\n、\r、全角空格\u3000、半角空格）统一压缩为单个半角空格，再对首尾空格执行strip()。
3、对含英文单词的混合文本，保留英文内部空格但收紧中英文之间空隙：用正则re.sub(r'([\u4e00-\u9fff])\s+([a-zA-Z])', r'\1 \2', text)和re.sub(r'([a-zA-Z])\s+([\u4e00-\u9fff])', r'\1 \2', text)分别处理两侧。
四、识别并拆分合并型语义段落
舆情评论、客服对话等非结构化文本中，常出现多轮发言堆叠于同一字段（如“用户：怎么退款？客服：请提供订单号。用户：123456”），需按角色或语义边界切分，否则破坏对话建模逻辑。
1、基于预设话术模板切分：识别“用户：”“客户：”“Q：”“A：”“【提问】”等前缀，用re.split(r'(?:用户|客户|Q|【提问】)[:：\s]*', text)进行分割，并保留分隔符用于标注角色。
2、若无明确标识，采用滑动窗口统计标点密度：当连续200字符内句号、问号、感叹号总数≥3且平均句长≤35字时，触发强制断句，避免长段粘连。
3、对切分后每段调用jieba.lcut()分词，剔除停用词后计算词频TF-IDF，若两相邻段落TOP5关键词重合度＞0.6，则合并为同一语义单元。
五、中文实体模糊去重与归一化
同一实体在非结构化文本中存在多种表述（如“腾讯”“深圳市腾讯计算机系统有限公司”“TX”“鹅厂”），直接字符串去重会导致信息损失；需建立轻量级别名词典实现语义级归一。
1、加载基础归一化词典，例如{"腾讯": ["腾讯公司", "TX", "鹅厂", "深圳市腾讯计算机系统有限公司"], "苹果": ["Apple", "iPhone厂商", "美企苹果"]}
2、对每段文本执行命名实体识别（NER），使用LAC或FLAIR中文模型抽取出地名、机构名、产品名等实体。
3、对识别出的实体字符串，遍历词典键值对，若原始实体被任一词典值包含（或词典值被其包含），则替换为词典键，如“鹅厂”→“腾讯”、“Apple”→“苹果”。
4、对归一化后的实体列表，使用集合去重，再按原始出现顺序重建唯一实体序列。
