Linux文本处理神器sed和awk常用实例【教程】

老杰君_3673

老杰君_3673

2026-04-23

564人浏览

原创

sed默认仅替换每行第一个匹配项,这是posix标准定义的设计行为;加g标志才全局替换,数字修饰符可指定替换第几次出现,^锚点用于行首匹配。

linux文本处理神器sed和awk常用实例【教程】

别用“教程”这个词——sed 和 awk 不是靠背命令学会的,而是靠修日志、改配置、扒数据时反复试错练出来的。真正卡住你的从来不是语法,而是“该用哪个”“为什么这行没生效”“备份在哪”。下面直奔实操场景。

sed 替换时为什么只替换了第一个匹配?

因为默认 s/old/new/ 只处理每行**第一次出现**的 old。这不是 bug,是设计:它让你能精准控制替换粒度。

  • 加 g 标志才全局替换:sed 's/ERROR/error/g' app.log
  • 想只换第 2 次出现?写数字:sed 's/timeout/TIMEOUT/2' access.log
  • 想换行首的 # 但不碰注释里的 #?用锚点:sed 's/^#//'(注意 ^ 必须紧贴 s 的 pattern 开头)
  • 误用了 / 当分隔符又想替换路径(如 /usr/bin),会触发“too many slashes”错误——换分隔符:sed 's|/usr/bin|/opt/bin|g'

awk 处理日志时怎么按列取 IP 和状态码?

关键不是“怎么写”,而是“字段怎么切”。默认空格/制表符分隔,但 Nginx 或 Apache 日志常用双引号、方括号、空格混搭,直接 很可能取错。

linux-sysadmin
linux-sysadmin

Linux系统管理专家,覆盖12大模块:用户权限、SSH、存储、网络、systemd、防火墙、日志监控、备份恢复、TLS证书、Ansible、容器、IaC。提供配置、验证、加固、监控、备份、自动化、故障排查、回滚闭环。关键词:useradd、sudo、sshd_config、chmod、SEL...

下载
  • 先看真实分隔:用 head -1 access.log | cat -A 查看不可见字符(比如 ^I 是 tab)
  • 用 -F 显式指定分隔符:awk -F' ' '{print $1, $9}' access.log(空格分隔)
  • 正则当分隔符更稳:awk -F'[[:space:]]+"?[^"]+"?' '{print $1, $9}'(慎用,调试成本高)
  • 更可靠的做法是用 match() 提取:awk '{match($0, /([0-9.]+) -.*" [0-9]{3} /, arr); print arr[1], substr($0, RSTART+RLENGTH-4, 3)}'(适合固定格式日志)

sed -i 直接改文件后发现改错了,还能恢复吗?

不能——除非你提前加了备份后缀。Linux 不像编辑器有 undo,sed -i 是原子覆盖,出错就是永久丢失。

  • 永远带备份:sed -i.bak 's/foo/bar/g' config.conf → 生成 config.conf.bak
  • 测试阶段禁用 -i,先确认输出正确:sed 's/foo/bar/g' config.conf | head -5
  • 如果已经没备份,且文件还在被进程占用(如日志),可尝试从 /proc/PID/fd/ 下找回原始内容(需 root 权限)
  • git 管理的配置文件?改之前 git stash 或 git commit -n 留痕

什么时候必须用 awk 而不是 sed?

当你需要跨行计算、条件判断、或基于字段值做逻辑分支时,sed 就力不从心了。它没有变量、没有 if、不能累加——这些不是“高级功能”,而是基础能力缺口。

  • 统计每个 IP 访问次数:awk '{ip[$1]++} END{for (i in ip) print i, ip[i]}' access.log
  • 只打印响应时间 > 1000ms 的行:awk '$NF > 1000 {print}' access.log(假设最后一列是毫秒)
  • 合并多行日志(如 Java 异常堆栈):awk '/^Exception/{if (buf) print buf; buf=$0; next} /^$/ {next} {buf = buf "\n" $0} END{print buf}'
  • 想把 CSV 第三列全转大写?sed 做不到字段级操作,awk -F, -v OFS=, '{$3 = toupper($3); print}' data.csv

最常被忽略的一点:awk 的 NR 和 FNR 差异。处理多个文件时,NR 是总行号,FNR 是当前文件行号——漏掉这个,跨文件统计就全乱。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

linux

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

2023.06.21

3710

4

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

2023.06.29

3213

10

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2023.06.30

2293

5

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

2023.07.05

5510

7

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

2023.07.06

5182

7

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.20

3073

8

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

2023.07.20

2585

4

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

2023.07.25

2799

6

linux查找文件命令
linux查找文件命令

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.31

277

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习