搜索
首页php教程PHP开发Linux Shell中awk命令的用法
Linux Shell中awk命令的用法 Dec 15, 2016 am 11:35 AM
awk命令

awk命令

awk也是一个数据处理工具!相较于 sed 常常作用于一整个行的处理, awk 则比较倾向于一行当中分成数个字段来处理。


.awk语言的最基本功能是在文件或字符串中基于指定规则来分解抽取信息,也可以基于指定的规则来输出数据。


有三种方式调用awk


1.命令行方式

awk  [-F field-separator]  'commands' input-files

其中,[-F域分隔符]是可选的,因为awk使用空格或tab键作为缺省的域分隔符,因此如果要浏览域间有空格的文本,不必指定这个选项,如果要浏览诸如passwd文件,此文件各域以冒号作为分隔符,则必须指明-F选项,如:awk -F: 'commands' input-file。

注:在linux系统中用环境变量IFS存储分隔符,但根据实际应用也可以改变IFS的值.

例如:

awk命令

脚本执行结果如下:

awk命令

commands 是真正awk命令, input-files 是待处理的文件。

iput_files可以是多于一个文件的文件列表,awk将按顺序处理列表中的每个文件。

在awk中,文件的每一行中,由域分隔符分开的每一项称为一个域。通常,在不指名-F域分隔符的情况下,默认的域分隔符是空格或tab键。


2.shell脚本方式

将所有的awk命令插入一个文件,并使awk程序可执行,然后awk命令解释器作为脚本的首行,以便通过键入脚本名称来调用。

相当于shell脚本首行的:#!/bin/sh可以换成:#!/bin/awk


3.将所有的awk命令插入一个单独文件,然后调用:

Awk    -f   awk-script-file         input-files

其中,-f选项加载awk-script-file中的awk脚本,input-files跟上面的是一样的。


awk的模式和动作


任何awk语句都由模式和动作组成(awk_pattern { actions })。
在一个awk脚本中可能有许多语句。

模式部分决定动作语句何时触发及触发事件。处理即对数据进行的操作。如果省略模式部分,动作将时刻保持执行状态。即省略时不对输入记录进行匹配比较就执行相应的actions。


模式可以是任何条件语句或正则表达式等。awk_pattern可以是以下几种类型:


1) 正则表达式用作awk_pattern:/regexp/

例如:awk '/^[a-z]/' input_file

2) 布尔表达式用作awk_pattern,表达式成立时,触发相应的actions执行。

① 表达式中可以使用变量(如字段变量$1,$2等)和/regexp/

② 布尔表达式中的操作符:


关系操作符: <> <= >= == !=
匹配操作符: value ~ /regexp/ 如果value匹配/regexp/,则返回真
value!~ /regexp/ 如果value不匹配/regexp/,则返回真
例如: awk '$2 > 10 {print "ok"}' input_file
      awk '$3 ~ /^d/ {print"ok"}' input_file

③ &&(与) 和 ||(或) 可以连接两个/regexp/或者布尔表达式,构成混合表达式。!(非) 可以用于布尔表达式或者/regexp/之前。


例如: awk '($1< 10 ) && ($2 > 10) {print "ok"}' input_file
      awk '/^d/ || /x$/ {print"ok"}' input_file

模式包括两个特殊字段 BEGIN和END。使用BEGIN语句设置计数和打印头。BEGIN语句使用在任何文本浏览动作之前,之后文本浏览动作依据输入文本开始执行。END语句用来在awk完成文本浏览动作后打印输出文本总数和结尾状态标志。


实际动作在大括号{ }内指明。动作大多数用来打印,但是还有些更长的代码诸如i f和循环语句及循环退出结构。如果不指明采取动作,awk将打印出所有浏览出来的记录。


awk执行时,其浏览域标记为$1,$2...$n。这种方法称为域标识。使用这些域标识将更容易对域进行进一步处理。


使用$1 , $3表示参照第1和第3域,注意这里用逗号做域分隔。如果希望打印一个有5个域

的记录的所有域,不必指明$1 , $2 , $3 , $4 , $5,可使用$0,意即所有域。

为打印一个域或所有域,使用print命令。这是一个awk动作


awk的运行过程:

①如果BEGIN 区块存在,awk执行它指定的actions。

② awk从输入文件中读取一行,称为一条输入记录。(如果输入文件省略,将从标准输入读取)

③ awk将读入的记录分割成字段,将第1个字段放入变量$1中,第2个字段放入$2,以此类推。$0表示整条记录。

④把当前输入记录依次与每一个awk_cmd中awk_pattern比较,看是否匹配,如果相匹配,就执行对应的actions。如果不匹配,就跳过对应的actions,直到比较完所有的awk_cmd。

⑤当一条输入记录比较了所有的awk_cmd后,awk读取输入的下一行,继续重复步骤③和④,这个过程一直持续,直到awk读取到文件尾。

⑥当awk读完所有的输入行后,如果存在END,就执行相应的actions。


入门实例:

例1:显示/etc/passwd文件中的用户名和登录shell 

awk命令

如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割

awk命令

如果只是显示/etc/passwd文件中的用户名和登录shell, 而账户与shell之间以逗号分割

awk命令

注:awk的总是输出到标准输出,如果想让awk输出到文件,可以使用重定向。


例2:显示/etc/passwd文件中的UID大于500的所有用户的用户名和登录shell

awk命令

例3:如果只是显示/etc/passwd文件中的UID大于500的用户名和登录shell,而账户与shell之间以逗号分割,而且在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh"。

awk命令

注:

1.awk 后面接两个单引号并加上大括号 {} 来设定想要对数据进行的处理动作

2.awk工作流程是这样的:先执行BEGING,然后读取文件,读入有\n换行符分割的一条记录,然后将记录按指定的域分隔符划分域,填充域,$0则表示所有域,$1表示第一个域,$n表示第n个域,随后开始执行模式所对应的动作。接着开始读入第二条记录······直到所有的记录都读完,最后执行END操作。

思考题:如何打印所有记录(以/etc/passwd中的内容为例)

awk命令

例4:搜索/etc/passwd有root关键字的所有行

awk命令

这种是pattern(模式)的使用示例,匹配了pattern(这里是root)的行才会执行action(没有指定action,默认输出每行的内容)。

搜索支持正则表达式,例如找root开头的:

awk命令

搜索/etc/passwd有root关键字的所有行,并显示对应的shell

awk命令

这里指定了action是{print $7}


例5:显示最近登录系统的5个用户信息,只显示用户名和IP地址

使用last命令可以查看最近登录的用户信息。如下图所示:

awk命令

使用awk命令抽取用户名和IP区域的数据

awk命令

awk命令

awk内置变量

awk有许多内置变量用来设置环境信息,下面给出了最常用的一些变量。

 FILENAME awk浏览的文件名

 FS   设置输入域分隔符,等价于命令行-F选项

 NF   浏览记录的域个数(每一行($0)拥有的字段总数)

 NR   已读的记录数(awk所处理的是第几行数据)


例6:统计/etc/passwd:文件名,每行的行号,每行的列数,对应的完整行内容:

awk命令

显示所有账户的记录,并带有其记录号,并在END部分打印输入文件名

awk命令

除了awk的内置变量,awk还可以自定义变量


例7:统计/etc/passwd的账户人数

awk命令

count是自定义变量。之前的action{}里都是只有一个print,其实print只是一个语句,而action{}可以有多个语句,以;号隔开。

这里没有初始化count,虽然默认是0,但是妥当的做法还是初始化为0:

awk命令

例8:统计某个文件夹下的文件占用的字节数

awk命令

如果以M为单位显示:

awk命令

注意:以上统计没有包括子目录中的文件。

如果想快速查看所有文件的长度及其总和,但要排除子目录,如何实现:

awk命令

声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前By尊渡假赌尊渡假赌尊渡假赌
仓库:如何复兴队友
4 周前By尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
4 周前By尊渡假赌尊渡假赌尊渡假赌

热工具

安全考试浏览器

安全考试浏览器

Safe Exam Browser是一个安全的浏览器环境,用于安全地进行在线考试。该软件将任何计算机变成一个安全的工作站。它控制对任何实用工具的访问,并防止学生使用未经授权的资源。

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一个PHP/MySQL的Web应用程序,非常容易受到攻击。它的主要目标是成为安全专业人员在合法环境中测试自己的技能和工具的辅助工具,帮助Web开发人员更好地理解保护Web应用程序的过程,并帮助教师/学生在课堂环境中教授/学习Web应用程序安全。DVWA的目标是通过简单直接的界面练习一些最常见的Web漏洞,难度各不相同。请注意,该软件中

SublimeText3 英文版

SublimeText3 英文版

推荐:为Win版本,支持代码提示!

EditPlus 中文破解版

EditPlus 中文破解版

体积小,语法高亮,不支持代码提示功能

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版