Linux下常用的文本处理命令 grep、sed和awk实战

酷雪大大_3834

酷雪大大_3834

2026-04-11

698人浏览

原创

常见原因有三:默认不递归、不忽略大小写、不处理二进制文件;实操需用-r递归、-i忽略大小写、--binary-files=without-match跳过二进制文件。

linux下常用的文本处理命令 grep、sed和awk实战

grep匹配时为什么找不到明明存在的内容

常见原因是没注意默认不递归、不忽略大小写、不处理二进制文件。比如在子目录里搜 main.c 中的 printf,只用 grep printf main.c 能找到,但换成 grep printf . 就报错或无输出——因为 grep 默认不进入目录,也不跳过二进制文件。

实操建议:

  • 递归搜索加 -r(或 --recursive),如 grep -r "int main" src/
  • 忽略大小写用 -i,比如搜 ERROR 或 error 统一匹配
  • 跳过二进制文件加 --binary-files=without-match,避免卡住或报 Binary file xxx matches
  • 想高亮匹配项,终端支持时加 --color=always;脚本中慎用,可能混入控制字符

sed替换字符串老是失败,特别是含斜杠或特殊字符

sed 默认用 / 作分隔符,一旦待替换内容含 /(比如路径 /usr/bin/python3),命令就提前截断。更麻烦的是,&、、$ 这些在替换部分有特殊含义,不转义会出错。

实操建议:

  • 换分隔符:用 # 或 | 替代 /,如 sed 's#/old/path#/new/path#g'
  • 变量插值时用双引号,但要小心 shell 展开,比如 sed "s|$OLD|$NEW|g"(注意 | 在双引号里无特殊含义)
  • 替换中引用原串用 &,引用捕获组用 、,记得反斜杠要写两层:shell 解析一层,sed 再解析一层,所以实际写 \1
  • 修改文件本身加 -i,但 GNU sed 和 BSD/macOS sed 行为不同:GNU 支持 -i '',macOS 必须带后缀如 -i.bak

awk按列处理时字段数不固定,$NF总取错

$NF 是最后一列,看似方便,但遇到空格缩进不一致、中间有空字段、或用其他分隔符(如制表符、冒号)时,awk 默认以空白符切分,结果和肉眼看到的“第几列”对不上。比如 ps aux 输出里 USER 列可能被挤到第二位, 就不是 PID。

Zynq Linux Hardware Debug
Zynq Linux Hardware Debug

Zynq‑7000 / Zynq UltraScale+ 硬件调试技能。适用于 Xilinx Zynq(Cortex‑A9/A53 + FPGA)Linux 环境,调试 I2C、I2S、UART、GPIO 等外设。包括设备树配置、内核驱动、用户空间调试工具、交叉编译和常见问题排查,支持 PetaLinux 开发。

下载

实操建议:

  • 明确指定分隔符:用 -F,如 awk -F: '{print $1}' /etc/passwd(冒号分隔)
  • 处理不规则空格:用 awk '{print $NF}' 前先确认字段数,可加 print NF 调试;更稳的做法是用 split($0, a) 手动切,再取 a[length(a)]
  • 需要按位置而非分隔符取字段(比如固定列宽日志),改用 substr($0, start, length),如 awk '{print substr($0, 10, 8)}'
  • 避免默认空格分割导致字段塌缩:加 awk -F' ' '{...}'(显式空格)不如用 awk -F'[[:space:]]+' 更鲁棒

三者组合使用时管道传数据,为什么awk收不到grep的结果

典型错误是把 grep 的退出状态当输出用,或者 sed 没输出(比如忘了 -n 配合 p 命令),导致管道断掉。另一个隐形问题是行缓冲:某些命令(如 grep)在管道中默认全缓冲,小量数据不立刻吐出,awk 就一直等。

实操建议:

  • 检查每段是否真有输出:先单独运行前半段,如 grep "error" app.log | head -3 看有没有内容
  • sed 默认打印所有行,若只想输出匹配/替换后的行,要么用 -n + p(如 sed -n '/pattern/p'),要么确保替换语句后没加 q 或 d 意外删了行
  • 强制行缓冲加 stdbuf -oL,如 stdbuf -oL grep "log" *.log | awk '{print $1}'
  • 复杂逻辑别硬塞管道,改用 awk 内置正则(/pattern/ { ... })或 if ($0 ~ /pattern/) {...} 更可控

真正难的不是单个命令怎么写,而是理解每条命令在管道中的数据流边界——它输出什么、何时输出、是否改变行结构。调试时多用 head、cat -A 看不可见字符,比死盯语法有效得多。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

linux

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python中print函数的用法
python中print函数的用法

python中print函数的语法是“print(value1, value2, ..., sep=' ', end='\n', file=sys.stdout, flush=False)”。本专题为大家提供print相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.27

2720

5

python print用法与作用
python print用法与作用

本专题整合了python print的用法、作用、函数功能相关内容,阅读专题下面的文章了解更多详细教程。

2026.02.03

249

24

scripterror怎么解决
scripterror怎么解决

scripterror的解决办法有检查语法、文件路径、检查网络连接、浏览器兼容性、使用try-catch语句、使用开发者工具进行调试、更新浏览器和JavaScript库或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.18

949

5

500error怎么解决
500error怎么解决

500error的解决办法有检查服务器日志、检查代码、检查服务器配置、更新软件版本、重新启动服务、调试代码和寻求帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.25

2760

5

printf用法大全
printf用法大全

php中文网为大家提供printf用法大全,以及其他printf函数的相关文章、相关下载资源以及各种相关课程,供大家免费下载体验。

2023.06.20

748

5

fprintf和printf的区别
fprintf和printf的区别

fprintf和printf的区别在于输出的目标不同,printf输出到标准输出流,而fprintf输出到指定的文件流。根据需要选择合适的函数来进行输出操作。更多关于fprintf和printf的相关文章详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.28

1009

10

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.03

1678

5

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.04

2544

5

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

2023.10.24

5984

49

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习