awk oneliner(一):空行、行号和计算
一、空行
1、将每行后面都添加一个空行
1awk '1; { print "" }'
这是怎么意思呢?一个单行awk命令,其实也是一个用awk语言写的程序,每个awk程序,都是由一系列的“匹配模式 { 执行动作 }”语句所组成的。在这个例子里面,有两个语句,“1”和“{print “”}”。在每个“匹配模式——执行动作”语句中,模式和动作都是可以被省略的。如果匹配模式被省略,那么预定的动作将会对输入文件的每一行执行。如果动作被省略,那么就默认会执行{print }
。所以,这个单行awk语句等同于下面的语句:
1awk '1 {print } {print ""}'
动作只有在匹配模式的值为真的时候才会执行。因为“1”永远为真,所以,这个例子也可以写成下面的形式
1awk '{print } {print ""}'
awk中每条print
语句后都默认会输出一个ORS
变量(Output Record Separator,即输出行分隔符,默认为换行符)。第一个不带参数的print语句,等同于print $0
,其中$0
是代表整行内容的变量。第二个print语句什么也不输出,但是鉴于print语句后都会被自动加上ORS变量,这句的作用就是输出一个新行。于是每行后面加空行的目的就达到了。
2、另外一种添加空行的方法
1awk 'BEGIN { ORS="nn" }; 1'
BEGIN是一个特殊的模式,后面所接的内容,会在文件被读入前执行。这里,对ORS变量进行了重新定义,将一个换行符改成了两个。后面的“1”,同样等价于{print }
,这样就达到了在每行后用新的ORS添加空行的目的。
3、在每个非空的行后面添加空行
1awk 'NF {print $0 "n"}'
这个语句里面用到了一个新的变量,NF
(number of fields),即本行被分割成的字段的数目。例如,“this is a test”,会被awk分割成4个词语,NF的值就为4。当遇到空行,分割后的字段数为0,NF为0,后面的匹配动作就不会被执行。这条语句,可以理解成“如果这一行可以分割成任意大于0的部分,那么输出当前行以及一个换行符”。
4、在每行后添加两个空行
1awk '1; {print "n"}'
这一语句与前面的很相似。“1”可以理解为{print }
,所以整个句子可以改写为
1awk '{print ; print "n"}'
它首先输出当前行,然后再输出一个换行符以及一个结束print语句的ORS,也就是另外一个换行符。
二、行号
5、为每个文件的内容添加行号
1awk '{ print FNR "t" $0 }'
这个awk程序在每行的内容前添加了一个变量FNR的输出,并用一个制表符进行分隔。FNR(File Number of Row)这个变量记录了当前行在当前文件中的行数。在处理下一个文件时,这个变量会被重置为0。
6、为所有文件的所有行统一添加行号
1awk '{print NR "t" $0}'
这一句与上一例基本一样,除了使用的行号变量是NR(Number of Row),这个变量不会在处理新文件的时候被重置。所以说,如果你有2个文件,一个10行一个12行,那这个变量会从1一直变到22。
7、用更漂亮的样式添加行号
1awk '{printf("%5d : %sn", FNR, $0)}'
这个例子用了printf函数来自定义输出样式,它所接受的参数与标准C语言的printf函数基本一致。需要注意的是,printf后不会被自动添加ORS,所以你需要自己指定换行。这个语句指定了行号会右对齐,然后是一个空格和冒号,接着是当前行的内容。
8、为文件中的非空行添加行号
1awk 'NF { $0=++a " :" $0}; {print }'
awk的变量都是自动定义的:你第一次用到某个变量的时候它就自动被定义了。这个语句在每次遇到一个非空行的时候先把一个变量a加1,然后把a的数值添加到行首,然后输出当前行的内容。
三、计算
9、计算文件行数(模拟 wc -l)
1awk 'END {print NR}'
END是另外一个不会被检验是否为真的模式,后面的动作会在整个文件被读完后进行。这里是输出最终的行号,即文件的总行数。
10、对每行求和
1awk '{s=0;for (i=0;i<NF;i++) s=s+$i; print s}'
awk有些类似C语言的语法,比如这里的for (;;;){ ... }
循环。这句命令会让程序遍历所有NF个字段,并把字段的总和存在变量s中,最后输出s的数值并处理下一行。
11、对所有行所有字段求和
1awk '{for (i=0;i<NF;i++) s=s+$i; END {print s+0}'
这个例子与上一个基本一致,除了输出的是所有行所有字段的和。由于变量会被自动定义,s只需要定义一次,故而不需要把s定义成0。另外需要注意的是,它输出{print s+0}
而非{print s}
,这是因为如果文件为空,s不会被定义就不会有任何输出了,输出s+0可以保证在这种情况下也会输出更有意义的0。
12、将所有字段替换为其绝对值
1awk '{ for (i = 1; i <= NF; i++) if ($i < 0) $i = -$i; print }'
这条语句用了C语言的另外两个特性,一个是if (...) {...}
结构,另外就是省略了大括号。它检查对每一行,检查每个字段的值是否小于0,如果值小于0,则将其改为正数。字段名可以间接地用变量的形式引用,如i=5;$i='hello'
会将第5个字段的内容置为hello。
下面的是将这条语句完整的写出来的形式。print语句会在行中所有字段被改为正数后执行。
1awk '{
2 for (i = 1; i <= NF; i++) {
3 if ($i < 0) {
4 $i = -$i;
5 }
6 }
7 print
8}'
13、计算文件中的总字段(单词)数
1awk '{total=total+NF};END {print total+0}
2```'
3
4这个命令匹配所有的行,并不断的把行中的字段数累加到变量total。执行完成上述动作后,输出total的数值。
5注意:不是字母个数。
6
7#### 14、输出含有单词Beth的行的数目
8
9```bash
10awk '/Beth/ {n++}; END {print n+0}'
这个例子含有两个语句。第一句找出匹配/Beth/的行,并对变量n进行累加。在/…/之间的内容为正则表达式,/Beth/匹配所有含有“Beth”的单词(它不仅匹配Beth,同样也匹配Bethe)。第二句在文件处理完成后输出n的数值。这里用n+0是为了让n为0 的情况下输出0而不是一个空行。
15、寻找第一个字段为数字且最大的行
1awk '$1 > max { max=$1; maxline=$0 }; END { print max, maxline }'
这个例子用变量max记录第一个字段的最大值,并把第一个字段最大的行的内容存在变量maxline中。在循环终止后,输出max和maxline的内容。注意:如果在数字都为负数的情况下,这个例子就不能用了,下面的是修改过的版本
1awk 'NR == 1 { max = $1; maxline = $0; next; } $1 > max { max=$1; maxline=$0 }; END { print max, maxline }'
16、在每一行前添加输出该行的字段数
1awk '{print NF ":" $0}'
这个例子仅仅是在逐行输出字段数NF,一个冒号,以及该行的内容。
17、输出每行的最后一个字段
1awk '{print $NF}'
awk里面的字段可以用变量的形式引用。这一句输出第NF个字段的内容,而NF就是该行的字段数。
18、打印最后一行的最后一个字段
1awk '{ field = $NF };END {print field}'
这个例子用field记录最后一个字段的内容,并在循环后输出field的内容。这里是一个更好的版本。它更常用、更简洁也更高效:
1awk 'END {print $NF}'
19、输出所有字段数大于4的行
1awk 'NF > 4'
这个例子省略了要执行的动作。如前所述,省略动作等价于{print}
。
20、输出所有最后一个字段大于4的行
1awk '$NF > 4'
这个例子用$NF引用最后一个字段,如果它的数值大于4,那么就输出。
捐赠本站(Donate)
如您感觉文章有用,可扫码捐赠本站!(If the article useful, you can scan the QR code to donate))
- Author: shisekong
- Link: https://blog.361way.com/awk-oneliner-one/1669.html
- License: This work is under a 知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议. Kindly fulfill the requirements of the aforementioned License when adapting or creating a derivative of this work.