利用Sublime Text快速清洗不规则CSV数据

浅婷同学_2262

浅婷同学_2262

2026-07-02

152人浏览

原创

sublime直接打开csv乱码或字段粘连,因默认当纯文本处理且未绑定csv语法;必须手动设置语法为csv、编码为gbk或utf-8 with bom,并预处理引号内逗号等结构问题。

利用sublime text快速清洗不规则csv数据

为什么直接打开CSV总显示乱码或字段粘连

Sublime 默认把 .csv 当纯文本处理,右下角显示 Plain Text 就说明语法没绑定——逗号不被识别为分隔符,中文用 UTF-8 解 GBK 编码的文件就会变问号或方块,字段自然“粘”成一团。

实操上必须手动配两件事:

  • 点击右下角语言名 → Open all with current extension as… → 选 CSV(不是 CSV (Comma delimited) 这种旧插件名)
  • 右下角编码名 → Reopen with Encoding → 挨个试 UTF-8 with BOMGBKWindows-1252;确认正常后立刻点同位置 → Save with Encoding

特别注意:Excel Windows 版导出的 CSV 90% 是 GBK;macOS 或 Python to_csv() 生成的优先试 UTF-8 with BOM。别用转码工具二次转换,原始编码已损,越转越糊。

删空行和“伪空行”为什么 Ctrl+Shift+L 总漏掉几行

Ctrl+Shift+L 只对当前可见区域生效,且无法匹配含 \u200b(零宽空格)、\u00a0(不间断空格)、\u3000(全角空格)的“看起来空”的行——人眼分辨不出,但 Sublime 不认它们为 ^\s*$

可靠做法分三步:

CSV数据分析器
CSV数据分析器

用简单命令分析CSV文件,获取统计、筛选行、检测异常、分组聚合,零外部依赖。

下载
  • 先开正则模式(右下角 .* 高亮),关掉 . matches newline(右下角 \n 图标不能亮)
  • Find What^[\s\u3000\u200b\uFEFF\u00a0]*$Replace With 留空,点 Find All ——所有伪空行高亮
  • Ctrl+Shift+L 转多光标,再按 Delete;文件末尾残留的无换行符空行,用 Ctrl+End 定位后按 Ctrl+Shift+K 干掉

字段含引号内逗号或跨行内容,AlignTab 对齐为啥总歪

AlignTab 是纯视觉对齐工具,它不解析 CSV 语义,只按你指定字符(比如 ,)加空格。如果字段本身是 "addr, line2""name\nother",直接对齐会把引号内逗号当分隔符切开,列就错位了。

必须预处理:

  • 先开正则,Find What,(?=(?:[^"]*"[^"]*")*[^"]*$)(跳过引号内逗号),Replace With, (逗号+空格)
  • 全文件替换后,选中目标区域 → Ctrl+Shift+P → 输入 AlignTab: Align On → 回车 → 输入 , (注意有空格)
  • 装完 AlignTab 没命令?必须完全退出 Sublime 再重开;触发时若输入法是中文,会把 , 当全角逗号,导致失效

超大或结构脏的 CSV 为什么越洗越卡甚至错行

Sublime 的卡顿不是内存不够,而是它在强行做代码级解析:高亮逗号、匹配引号嵌套、计算软换行——对 >50MB 或含未引号包裹逗号、嵌套换行的 CSV,这些动作毫无意义且极易错位。

真要硬扛,得关四件事并重启:

  • "large_file_threshold": 52428800(50MB)
  • "syntax": "Packages/Text/Plain text.tmLanguage"(禁用所有 CSV 语法解析)
  • "word_wrap": false
  • "highlight_line": false

但更关键的是:一旦发现字段含 Smith, John 这种没引号的逗号,或 "addr\nline2" 这种跨行字段,正则已不可靠——此时该切 csvkitpandas.read_csv(chunksize=) 预处理,而不是在 Sublime 里反复试错。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Vibeknow在线使用入口合集
Vibeknow在线使用入口合集

本专题汇总了Vibeknow在线创作视频的官方入口及网页版使用教程,涵盖PPT、PDF、Word等文档一键转讲解视频的核心操作,并整理了免费版水印规则与手机端浏览器访问指南,助你快速将知识内容视频化。

2026.09.21

20

20

NumPy随机数文件读写与dtype数据类型
NumPy随机数文件读写与dtype数据类型

本专题整理 NumPy 随机数、文件读写与 dtype 数据类型相关教程,覆盖 Generator/random、随机数种子、正态分布采样、npy/npz/CSV/TXT 保存读取、loadtxt/savetxt、memmap、大文件处理、astype 类型转换、结构化 dtype、整数溢出和精度丢失等场景。

2026.09.21

0

24

NumPy矩阵运算与线性代数计算
NumPy矩阵运算与线性代数计算

本专题整理 NumPy 矩阵运算与线性代数计算相关教程,覆盖矩阵乘法、dot 与 @ 运算符、逆矩阵、行列式、特征值与特征向量、SVD、线性方程组、欧氏距离、矩阵分解和大规模矩阵性能优化等内容,帮助读者掌握 np.linalg 与矩阵计算实战。

2026.09.21

0

20

NumPy广播机制数学运算与统计分析
NumPy广播机制数学运算与统计分析

本专题整理 NumPy 广播机制、数组数学运算与统计分析相关教程,覆盖广播规则、维度对齐、矩阵与数组加减除法、向量化计算、均值方差、分位数、中位数、直方图和 unique 频次统计等场景,帮助读者掌握 ndarray 高效计算与统计处理方法。

2026.09.21

0

17

NumPy数组创建索引切片与数据选择
NumPy数组创建索引切片与数据选择

本专题整理 NumPy 数组创建、索引、切片与数据选择相关教程,覆盖 np.array、zeros/ones、多维数组形状、基础切片、花式索引、布尔索引、条件筛选、视图与副本等常用场景,帮助读者系统掌握 ndarray 数据构造与高效提取方法。

2026.09.21

0

12

Aionclaw智能助手介绍
Aionclaw智能助手介绍

本专题汇总了AionClaw(AI龙虾助手)的功能介绍与在线使用入口。AionClaw是杭州趣猿人工智能有限公司推出的桌面级AI智能体,能直接在电脑上读写文件、运行脚本、操作浏览器,自动交付Word、PPT、Excel等成品。

2026.09.20

40

13

AionClaw AI智能体与电脑自动化任务执行功能使用教程
AionClaw AI智能体与电脑自动化任务执行功能使用教程

AionClaw专题整理AI智能体与电脑自动化相关功能使用教程,涵盖安装部署、AI任务执行、Skills技能、文件处理、浏览器控制、电脑操作、持久记忆、聊天工具连接以及办公、编程和内容创作等功能,帮助用户快速掌握AionClaw的实际使用方法。

2026.09.20

0

15

AI视频生成软件推荐
AI视频生成软件推荐

本专题汇总了当前主流的AI视频生成软件推荐与排行榜单,涵盖seko、AniShort、剧云、Lovart、LiblibAI及立刻mv等热门工具。同时整理了各软件在文生视频、图生视频、时长限制、画质表现及免费额度等方面的差异对比,助您快速选对适合创作需求的AI视频生成工具。

2026.09.16

200

9

ai生成视频的工具免费版合集
ai生成视频的工具免费版合集

本专题汇总了当前免费AI生成视频工具的排行榜与推荐清单,涵盖seko、讯飞智作、AniShort及剧云、Lovart等多模型集成平台。同时整理了各工具的免费额度、输出时长、水印政策及适用场景差异,助您快速选择合适工具开启AI视频创作。

2026.09.16

100

10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程