Python Pandas如何处理数据中的非打印字符和空白符号?

落辰吖_3326

落辰吖_3326

2026-06-25

768人浏览

原创

用str.replace()清理非打印字符最稳妥,正则匹配\x00-\x1f\x7f-\x9f并设regex=true;strip需显式指定\xa0、\u200b等隐形空白;多列清洗应避免apply循环而用向量化操作;导出csv须配合quote_nonnumeric防解析错位。

python pandas如何处理数据中的非打印字符和空白符号?

用 str.replace() 清理常见非打印字符(如 \x00、\x01)

非打印字符(尤其是二进制导入或 Excel 导出残留的 \x00、\x01、\x0b 等)会导致 to_csv() 报错或下游系统解析失败,Pandas 不会自动过滤它们。

直接对字符串列调用 str.replace() 最稳妥:

df['col'] = df['col'].str.replace(r'[\x00-\x08\x0b\x0c\x0e-\x1f\x7f-\x9f]', '', regex=True)
  • 正则范围覆盖了控制字符和 C1 控制符(Windows/Excel 常见污染源)
  • 必须加 regex=True,否则 str.replace() 把整个字符串当字面量匹配
  • 不要用 str.strip() 替代——它只处理首尾,对中间的 \x00 无效
  • 若列含 NaN,str.replace() 默认跳过,无需额外 fillna()

区分 str.strip() 和 str.strip(' \t\n\r') 的实际效果

默认 str.strip() 只删 ASCII 空白(空格、\t、\n、\r、\f、\v),但很多数据里混着全角空格( )、不间断空格(\xa0)、零宽空格(\u200b)等,得显式指定:

Galileo python sdk
Galileo python sdk

Galileo AI 平台 Python SDK 完整参考,用于评估、监控和保护 GenAI 应用,适用于构建 Python 应用。

下载
df['col'] = df['col'].str.strip(' \t\n\r\xa0\u200b\u200c\u200d\u2060\ufeff')
  • \xa0 是最常见的“看不见的空格”,尤其从网页或 Word 复制时带入
  • \u200b(零宽空格)在 CSV 中常导致字段错位,肉眼完全不可见
  • 如果只用默认 strip(),这些字符会原样保留,后续 == 判断或分组都可能出错

批量清理多列时避免 apply() 性能陷阱

对 DataFrame 多列统一清洗,别写循环 + apply(),更别用 map() 遍历每个值——Pandas 的向量化 str 方法快 5–10 倍:

cols_to_clean = ['name', 'address', 'email']
df[cols_to_clean] = df[cols_to_clean].apply(lambda x: x.str.replace(r'[\x00-\x1f\x7f-\x9f]', '', regex=True).str.strip(' \t\n\r\xa0\u200b'))
  • apply() 在列维度调用,内部仍是向量化操作,比逐行 apply(axis=1) 安全得多
  • 如果某列不是字符串类型(比如数字混了异常字符串),先强制转 astype(str),否则 str 方法报 AttributeError
  • 整数列误含空字符串时,astype(str) 会变成 'nan' 或 'None',需提前用 fillna('')

导出前用 df.to_csv(..., quoting=csv.QUOTE_NONNUMERIC) 防止空白污染

即使数据已清理,CSV 导出时若字段含空格或特殊符号,没加引号会导致 Excel 解析错列。单纯依赖清理不够:

import csv
df.to_csv('clean.csv', quoting=csv.QUOTE_NONNUMERIC, index=False)
  • QUOTE_NONNUMERIC 强制所有非数字字段加双引号,隔绝空格、逗号、换行的影响
  • 不用 QUOTE_ALL——它会给数字也加引号,下游系统可能误判类型
  • 如果原始数据有换行符(\n)且未被清理,仅靠 quoting 不够,必须先用 str.replace('\n', ' ') 替换掉

真正麻烦的永远是混合型污染:一个字段里既有 \x00 又有 \xa0 还夹着 \n,得按顺序清理——先删控制字符,再 strip 各类空白,最后处理换行。漏掉任意一环,问题都会在下游某个环节突然爆发。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

全能打印神器
全能打印神器

全能打印神器是一款非常好用的打印软件,可以在电脑、手机、平板电脑等设备上使用。支持无线打印和云打印,操作非常简单,使用起来也非常方便,有需要的小伙伴快来保存下载体验吧!

下载

相关标签:

python

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1711

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4364

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1689

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

25537

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3107

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3127

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1163

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2423

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.9万人学习

麻省理工大佬Python课程
麻省理工大佬Python课程

共34课时 | 7.5万人学习

python基础快速入门
python基础快速入门

共18课时 | 3.3万人学习