应删除连续重复出现的标点符号，如将"???"变为"?"，而非全局去重；常用正则re.sub(r'(1)\1+', r'\1', text)实现，兼顾空格清理时可追加\s+替换。\w\s ↩
移除字符串中“所有重复的标点”，关键要先明确：是指删除**连续重复出现的标点符号**（比如 ??、!!!、... ），还是指让**整个字符串里每种标点只保留一次**（比如把所有逗号、句号、问号各留一个）？从常见文本清洗场景看，绝大多数需求是前者——即压缩连续重复的标点为单个，避免噪音干扰分词或模型输入。
压缩连续重复的标点（最常用）
这是处理用户输入、社交媒体文本、OCR识别结果时的典型操作。例如将 "Wow!!! This is great???..." 变成 "Wow! This is great?..."。
- 用正则表达式最简洁：匹配两个及以上相同标点，替换成一个
- 代码示例：
import re def collapse_consecutive_punctuation(text): # 先匹配所有 ASCII 标点（含 . , ! ? ; : 等），支持连续2次及以上 return re.sub(r'([^\w\s])\1+', r'\1', text) - 如果只想处理特定标点（如只压缩多个句点），可写成：
re.sub(r'\.{2,}', '.', text)；对问号同理：re.sub(r'\?{2,}', '?', text) - 注意：
[^\w\s]匹配所有非字母、数字、下划线、空白的字符，基本覆盖常见标点；若需更精准（比如排除引号或括号），可显式列出：[.!?;:,]
全局去重：每种标点在整个字符串中只出现一次
这种需求较少见，通常用于特殊格式生成或调试，比如想确保整段文字最多含一个感叹号、一个问号。
- 思路：遍历字符串，记录已见过的标点类型，跳过后续重复出现的同类标点
- 代码示例：
import string <p>def keep_first_occurrence_of_punctuation(text): seen = set() result = [] for char in text: if char in string.punctuation: if char not in seen: result.append(char) seen.add(char) else: result.append(char) return ''.join(result) </p>
- 该方法保留首次出现的每个标点，其余同类型标点全部丢弃；字母、数字、空格等不受影响
先清理再压缩：兼顾标点和空格规范
实际应用中，连续标点常伴随多余空格（如 hello!!! ???）。可一并优化：
- 组合操作：先压缩重复标点，再合并多余空格
- 示例：
import re def clean_punct_and_spaces(text): # 压缩连续标点 text = re.sub(r'([^\w\s])\1+', r'\1', text) # 合并多个空格为单个，并去掉首尾空格 text = re.sub(r'\s+', ' ', text).strip() return text - 这样输出更干净，适合送入 NLP 工具链
不复杂但容易忽略的是标点边界——比如 word!!! 中的三个叹号是连续的，应压缩；而 word! another? 中的 ! 和 ? 是不同符号，不视为“重复”，各自保留。
