Linux如何使用awk处理列数据_Linux awk处理列数据方案

秋枫君_5474

秋枫君_5474

2026-04-06

430人浏览

原创

awk默认以任意空白为分隔符且压缩连续空白,导致含空格字段错切;应显式指定-f分隔符、用substr处理固定宽度、结合nf/nr过滤不规则行、begin初始化变量、合理设置ofs/ors。

linux如何使用awk处理列数据_linux awk处理列数据方案

awk默认按空格切分字段,但实际数据常含空格或制表符

直接用 awk '{print $2}' 处理带空格的列(比如日志中含“Failed login”这种字段)会错切——$2 可能不是你想要的第二列。根本原因是 awk 默认以任意空白(空格、制表符、换行)为分隔符,且会把连续空白压缩成一个分隔符。

解决办法是显式指定分隔符:

  • 按制表符切:用 -F '\t',例如 awk -F '\t' '{print $3}' file.tsv
  • 按多个空格(非制表符)切:用正则 -F '[[:space:]]+',比默认行为更可控
  • 固定宽度列(如 ls -l 输出):用 substr() 手动截取,例如 awk '{user=substr($0,11,9); print user}' file

提取特定列时,$0 和 NF 容易被忽略但很关键

$0 是整行内容,不是“第 0 列”;NF 是当前行字段数。这两个在过滤不规则行时特别有用。

常见误操作:直接 awk '{print $5}' 处理 ps aux 输出,结果某些行因进程名含空格导致列偏移。正确做法是先确认每行字段数是否达标:

  • 只处理至少有 5 列的行:awk 'NF >= 5 {print $5}' ps_output
  • 跳过标题行(第一行字段少):awk 'NR>1 && NF>=11 {print $11}' ps_aux
  • 安全打印最后一列:awk '{print $NF}' file,比硬写 $10 更健壮

用 awk 计算列的和、平均值、最大值,别忘初始化变量

awk 的 BEGIN 块必须显式初始化累加变量,否则首次赋值会出错(比如未定义变量参与运算时值为 0,但逻辑上可能该为 0 或报错)。

示例:统计第三列数值总和并求平均值

awk 'BEGIN{sum=0; count=0} $3 ~ /^[0-9]+\.?[0-9]*$/ {sum+=$3; count++} END{if(count>0) print "avg:", sum/count; else print "no valid data"}' data.txt
  • 用正则 /^[0-9]+\.?[0-9]*$/ 过滤纯数字(含小数),避免把字符串当 0 加
  • count 必须初始化,否则 END 块里除零会输出 inf 或空
  • 如果数据含负数,正则需改为 ^-?[0-9]+\.?[0-9]*$

跨行合并列或条件拼接,容易漏掉 ORS 和 OFS 设置

默认输出行尾是换行符(ORS="\n"),字段间是空格(OFS=" ")。做列拼接时若不调整,结果会多空格或换行错乱。

  • 把第 1、4、7 列用下划线连起来:awk -v OFS="_" '{print $1,$4,$7}' file
  • 把多行合并成一行(如日志中堆栈分多行):awk '/^ERROR/ && NR>1{print ""} {printf "%s ", $0} END{print ""}' log,这里手动控制换行比改 ORS 更可靠
  • 导出 CSV 时避免字段内含逗号干扰:awk -v OFS='","' '{$1=$1; print "\""$0"\""}' file,先用 $1=$1 强制重排字段再加引号

字段内含换行或双引号的情况,awk 就不太适合了——这时候该换 csvkit 或 Python 的 csv 模块。awk 强在快速列抽取和简单计算,不是通用格式解析器。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python中print函数的用法
python中print函数的用法

python中print函数的语法是“print(value1, value2, ..., sep=' ', end='\n', file=sys.stdout, flush=False)”。本专题为大家提供print相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.27

2280

5

python print用法与作用
python print用法与作用

本专题整合了python print的用法、作用、函数功能相关内容,阅读专题下面的文章了解更多详细教程。

2026.02.03

229

24

counta和count的区别
counta和count的区别

Count函数用于计算指定范围内数字的个数,而CountA函数用于计算指定范围内非空单元格的个数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.11.20

2328

5

scripterror怎么解决
scripterror怎么解决

scripterror的解决办法有检查语法、文件路径、检查网络连接、浏览器兼容性、使用try-catch语句、使用开发者工具进行调试、更新浏览器和JavaScript库或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.18

869

5

500error怎么解决
500error怎么解决

500error的解决办法有检查服务器日志、检查代码、检查服务器配置、更新软件版本、重新启动服务、调试代码和寻求帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.25

2320

5

printf用法大全
printf用法大全

php中文网为大家提供printf用法大全,以及其他printf函数的相关文章、相关下载资源以及各种相关课程,供大家免费下载体验。

2023.06.20

608

5

fprintf和printf的区别
fprintf和printf的区别

fprintf和printf的区别在于输出的目标不同,printf输出到标准输出流,而fprintf输出到指定的文件流。根据需要选择合适的函数来进行输出操作。更多关于fprintf和printf的相关文章详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.28

989

10

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.03

1518

5

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.04

2204

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.6万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.1万人学习