正则表达式与数据清洗:处理不规则的输入数据

阿浩君_1261

阿浩君_1261

2026-06-18

226人浏览

原创

正则表达式是处理不规则输入数据最直接有效的工具,可精准清洗空白与不可见字符、统一替换全角标点、提取手机号、日期及凭证号等关键字段。

正则表达式与数据清洗:处理不规则的输入数据

正则表达式是处理不规则输入数据最直接有效的工具之一。它不依赖结构,只认模式,面对杂乱空格、混排标点、中英文夹杂、隐藏字符等典型问题,能精准定位、批量清洗、按需提取,比逐个字符串方法更稳定、更可复用。

清理干扰性空白与不可见字符

中文输入法常引入全角空格( )、零宽空格(\u200b)、行分隔符(\u2028)、全角标点等“看不见的问题”。仅用.strip()或.replace(' ', '')无法覆盖。

  • 统一替换所有空白类字符为单个半角空格:
    re.sub(r'[\s\u200b\u2028\u3000]+', ' ', text).strip()
  • 去除首尾残留空白后仍保留内部合理空格,避免把“张 三”变成“张三”
  • 对全角标点做映射替换更稳妥,例如:
    text.translate(str.maketrans(',。!?;:""''()', ',.!?;:"\'\'()'))

提取关键字段(如手机号、日期、编号)

从日志、表单、网页文本中捞出结构化信息,无需解析整段内容,靠特征模式即可。

提示词大师-python版
提示词大师-python版

图片提示词生成器?不止如此。 马甲系统 —— 把脑海中的画面,翻译成AI能理解的专业表达。 用得越多,它越懂你:首次需要多问几句确认方向,用久了几乎一说就懂。 用得越多,它越快:缓存机制让后续对话越来越省。 RAG进化:成功案例持续入库,越跑越聪明。 输入「新手指南」查看完整功能介绍

下载
  • 匹配11位中国大陆手机号:
    re.findall(r'1[3-9]\d{9}', text)
  • 提取形如“2026-06-15”或“2026/06/15”的日期:
    re.findall(r'\b\d{4}[-/]\d{2}[-/]\d{2}\b', text)
  • 抓取以7开头的5位凭证号(如71234):
    re.findall(r'(?(利用\b或否定环视防误匹配)

标准化与格式验证

清洗不只是删,更是“转”——把不同写法统一成规范格式,并提前拦截非法输入。

  • 将多种电话格式((010)1234-5678、010-12345678、13812345678)归一为“+86 138 1234 5678”:
    re.sub(r'(\d{1,4})[-\s()]*?(\d{3,4})[-\s()]*?(\d{4})', r'+86 \1 \2 \3', phone)
  • 验证邮箱是否基本合规:
    re.match(r'^[^\s@]+@[^\s@]+\.[^\s@]+$', email) is not None
  • 检查身份证号长度和末位校验码逻辑(需额外算法),但至少先筛掉明显错误:
    re.fullmatch(r'\d{17}[\dXx]', id_num)

在Pandas中批量清洗文本列

面对DataFrame中的文本列(如用户留言、地址、备注),用str.replace、str.extract等向量化方法效率远高于循环。

  • 清洗地址列中的多余空格和全角符号:
    df['address'] = df['address'].str.replace(r'[\s\u200b\u2028\u3000]+', ' ', regex=True).str.strip()
  • 新增一列提取所有手机号:
    df['mobile_list'] = df['content'].str.findall(r'1[3-9]\d{9}')
  • 用str.extract生成结构化新列(如从“订单号:ORD20260615-001”中抽ID):
    df[['order_id']] = df['note'].str.extract(r'订单号:(\w+-\w+)')

相关专题

更多
js正则表达式
js正则表达式

php中文网为大家提供各种js正则表达式语法大全以及各种js正则表达式使用的方法,还有更多js正则表达式的相关文章、相关下载、相关课程,供大家免费下载体验。

2023.06.20

3856

8

正则表达式不包含
正则表达式不包含

正则表达式,又称规则表达式,,是一种文本模式,包括普通字符和特殊字符,是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串,通常被用来检索、替换那些符合某个模式的文本。php中文网给大家带来了有关正则表达式的相关教程以及文章,希望对大家能有所帮助。

2023.07.05

2361

4

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

6402

9

java正则表达式匹配字符串
java正则表达式匹配字符串

在Java中,我们可以使用正则表达式来匹配字符串。本专题为大家带来java正则表达式匹配字符串的相关内容,帮助大家解决问题。

2023.08.11

792

5

正则表达式空格
正则表达式空格

正则表达式空格可以用“\s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。本专题为大家提供正则表达式相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.31

500

5

Python爬虫获取数据的方法
Python爬虫获取数据的方法

Python爬虫可以通过请求库发送HTTP请求、解析库解析HTML、正则表达式提取数据,或使用数据抓取框架来获取数据。更多关于Python爬虫相关知识。详情阅读本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.13

653

12

正则表达式空格如何表示
正则表达式空格如何表示

正则表达式空格可以用“\s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。想了解更多正则表达式空格怎么表示的内容,可以访问下面的文章。

2023.11.17

386

3

正则表达式中如何匹配数字
正则表达式中如何匹配数字

正则表达式中可以通过匹配单个数字、匹配多个数字、匹配固定长度的数字、匹配整数和小数、匹配负数和匹配科学计数法表示的数字的方法匹配数字。更多关于正则表达式的相关知识详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.12.06

699

7

php正则表达式有哪些
php正则表达式有哪些

php正则表达式有"/pattern/"、"^"、"$"、"."、"[]"、"[^]"、"[a-z]"、"[A-Z]"、"[0-9]"、"\d"、"\D"、"\w"、"\W"、&a

2024.02.23

312

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WEB前端教程【HTML5+CSS3+JS】
WEB前端教程【HTML5+CSS3+JS】

共101课时 | 20.6万人学习

JavaScript正则表达式基础与实战
JavaScript正则表达式基础与实战

共11课时 | 1.7万人学习

布尔教育正则表达式视频教程
布尔教育正则表达式视频教程

共14课时 | 5.1万人学习