Sublime正则替换在数据分析前期预处理中的应用

夜杰同学_9059

夜杰同学_9059

2026-08-28

539人浏览

原创

sublime正则替换是数据清洗关键环节,^和$不匹配行首行尾主因是换行符识别混乱,需切unix(lf)格式或显式用\r?兼容crlf;提取字段应避免.*?跨标签,改用引号定界;乱码源于编码错误,粘连因语义丢失,空行失控多因\s不匹配全角空白。

sublime正则替换在数据分析前期预处理中的应用

Sublime 的正则替换不是“辅助工具”,而是数据分析前期预处理中真正能卡住清洗节奏、决定后续流程是否崩盘的关键环节。它不执行逻辑判断,但一旦规则写错或边界没控住,导出的字段就全乱——比如把手机号混进地址里、把 JSON 字段名和值一起删掉、空行删不干净导致 CSV 解析错位。

为什么^和$在清洗原始日志/HTML时总不匹配行首行尾

根本不是正则写错了,是 Sublime 默认不把 \r\n 当作换行边界来锚定 ^ 和 $,尤其 Windows 粘贴的文本、中文界面下更明显。

  • 现象:想删所有以 # 开头的注释行,^# 没反应;想清末尾空行,\s*$ 总漏最后一行
  • 原因:Windows 的 \r\n 让 $ 只认到 \r 前,\n 被跳过;中文插件有时还会干扰换行符识别
  • 解法优先级(从高到低):
    • 右下角点击换行标识 → 切成 Unix (LF) 格式(最稳)
    • 保留 CRLF 时,显式补 \r?:^#\r?、\s*\r?$
    • 必须用全文结尾锚定时,加 \Z:\s*\Z 比 \s*$ 更可靠

提取结构化字段时,.*? 为什么比 ]*> 更容易跨标签吃数据

.*? 是懒惰匹配,但它不理解 HTML 结构——只要中间没遇到字面量 >,就会一路吞过去,遇到 title="Xiaomi " 这种就直接崩。

  • 安全提取品牌名:用 title="([^"]+)" 或 data-brand=['"]([^'"]+)['"],靠引号定界,不依赖标签闭合
  • 删 HTML 标签时:]*> 天然防伪标签(如 alt="A ),而 <code><.></.> 在 Sublime 的 Python re 引擎里跨行失效,且会误杀 JS 字符串里的 <div> <li>如果标签被折行(<code><div>),先统一换行符:<code>(?:\r\n|\r|\n)+ → \n,再跑 ]*>

    清洗后文本粘连、乱码、空行失控,问题真不在正则本身

    删完标签只剩“标题内容”,这不是正则太狠,是语义丢了;复制进去的网页源码显示方块字,也不是 .* 写错了——这两类问题 90% 出在编码和空白处理上。

    Easy With AI
    Easy With AI

    一款AI开发辅助工具,主要用于最大的AI工具和资源集合网站之一,适合需要提升相关任务效率的用户。

    下载
    • 乱码:右下角看 Encoding,若显示 Western (CP1252) 或 GBK,但原始数据是 UTF-8(尤其带 BOM),就手动转码:File → Reopen with Encoding → UTF-8
    • 粘连:块级标签要单独换行处理,<p></p> → \n, → \n,
      <br>
      → \n,不能只删标签
    • 空行失控:\s+ 不匹配全角空格(\u3000)、不间断空格(\u00A0),得用 [ \t\n\r\f\v\u3000\u00A0\u2000-\u200B\u2028\u2029]+ 替换为单个半角空格

    多光标编辑不能直接套正则,但它是批量改 SQL/JSON 的唯一可控路径

    想给 JSON 里每个 "id" 字段值加前缀?别指望 Ctrl+D 或 Ctrl+Shift+L 自动识别正则模式——Sublime 的多光标本身不解析正则,必须分两步走。

    • 先用查找面板(Ctrl+F)输入正则:"id"\s*:\s*"(\w+)",勾选 .* 和 Match case
    • 按 Alt+F3 选中全部匹配项(光标落在引号内)→ 按 ← 移到开头 → 手动输入 user_
    • 关键细节:捕获组 $1 可用于替换框,但多光标下键盘输入更可控,尤其涉及引号、逗号补全时
    • 误操作后用 Ctrl+U(软撤销)比 Ctrl+Z 更精准,能回退单次多光标动作

    最容易被忽略的是文件末尾状态:没换行符的文本,$ 就永远匹配不到最后一行结尾;而清洗后的字段如果混着全角空格和 \u200B 零宽空格,\s 会完全失效——这些点不提前扫一遍,后面 Pandas 读 CSV 报错、SQL 导入截断,都算“意料之中”。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析的方法
数据分析的方法

数据分析的方法有:对比分析法,分组分析法,预测分析法,漏斗分析法,AB测试分析法,象限分析法,公式拆解法,可行域分析法,二八分析法,假设性分析法。php中文网为大家带来了数据分析的相关知识、以及相关文章等内容。

2023.07.04

1682

6

数据分析方法有哪几种
数据分析方法有哪几种

数据分析方法有:1、描述性统计分析;2、探索性数据分析;3、假设检验;4、回归分析;5、聚类分析。本专题为大家提供数据分析方法的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.07

2270

5

网站建设功能有哪些
网站建设功能有哪些

网站建设功能包括信息发布、内容管理、用户管理、搜索引擎优化、网站安全、数据分析、网站推广、响应式设计、社交媒体整合和电子商务等功能。这些功能可以帮助网站管理员创建一个具有吸引力、可用性和商业价值的网站,实现网站的目标。

2023.10.16

6330

14

数据分析网站推荐
数据分析网站推荐

数据分析网站推荐:1、商业数据分析论坛;2、人大经济论坛-计量经济学与统计区;3、中国统计论坛;4、数据挖掘学习交流论坛;5、数据分析论坛;6、网站数据分析;7、数据分析;8、数据挖掘研究院;9、S-PLUS、R统计论坛。想了解更多数据分析的相关内容,可以阅读本专题下面的文章。

2024.03.13

2904

8

Python 数据分析处理
Python 数据分析处理

本专题聚焦 Python 在数据分析领域的应用,系统讲解 Pandas、NumPy 的数据清洗、处理、分析与统计方法,并结合数据可视化、销售分析、科研数据处理等实战案例,帮助学员掌握使用 Python 高效进行数据分析与决策支持的核心技能。

2025.09.08

4085

12

Python 数据分析与可视化
Python 数据分析与可视化

本专题聚焦 Python 在数据分析与可视化领域的核心应用,系统讲解数据清洗、数据统计、Pandas 数据操作、NumPy 数组处理、Matplotlib 与 Seaborn 可视化技巧等内容。通过实战案例(如销售数据分析、用户行为可视化、趋势图与热力图绘制),帮助学习者掌握 从原始数据到可视化报告的完整分析能力。

2025.10.14

6092

24

Python 数据分析与可视化合集
Python 数据分析与可视化合集

聚焦 Python 在数据分析领域的核心应用,讲解 NumPy 数组运算、Pandas 数据清洗与聚合统计、缺失值与异常值处理、数据透视表生成,以及使用 Matplotlib、Seaborn、Pyecharts 制作折线图、柱状图、热力图、地图等多种可视化图表,适合数据分析师和运营人员快速掌握用 Python 从原始数据中挖掘洞察的能力。

2026.04.08

276

25

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

2026.04.13

431

25

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程