linux之awk用法

欢迎进入Linux社区论坛,与200万技术人员互动交流 >>进入

  awk是一个非常棒的数字处理工具。相比于sed常常作用于一整行的处理,awk则比较倾向于将一行分为数个”字段”来处理。运行效率高,而且代码简单,对格式化的文本处理能力超强。先来一个例子:

  文件a,统计文件a的第一列中是浮点数的行的浮点数的平均值。用awk来实现只需要一句话就可以搞定

  $cat a

  1.021 33

  1#.ll 44

  2.53 6

  ss 7

  awk ‘BEGIN{total = 0;len = 0} {if($1~/^[0-9]+\.[0-9]*/){total += $1; len++}} END{print total/len}’ a

  (分析:$1~/^[0-9]+\.[0-9]*/表示$1与”/ /”里面的正则表达式进行匹配,若匹配,则total加上$1,且len自增,即数目加1.”^[0-9]+\.[0-9]*”是个正则表达式,”^[0-9]”表示以数字开头,”\.”是转义的意思,表示”.”为小数点的意思。”[0-9]*”表示0个或多个数字)

  awk的一般语法格式为:

  awk [-参数 变量] ‘BEGIN{初始化}条件类型1{动作1}条件类型2{动作2}…END{后处理}’

  其中:BEGIN和END中的语句分别在开始读取文件(in_file)之前和读取完文件之后发挥作用,可以理解为初始化和扫尾。

  (1)参数说明:

  -F re:允许awk更改其字段分隔符

  -v var=$v 把v值赋值给var,如果有多个变量要赋值,那么就写多个-v,每个变量赋值对应一个-v

  e.g. 要打印文件a的第num行到num+num1行之间的行,

  awk -v num=$num -v num1=$num1 ‘NR==num,NR==num+num1{print}’ a

  -f progfile:允许awk调用并执行progfile程序文件,当然progfile必须是一个符合awk语法的程序文件。

  (2)awk内置变量:

  ARGC 命令行参数的个数

  ARGV 命令行参数数组

  ARGIND 当前被处理文件的ARGV标志符

  e.g 有两个文件a 和b

  awk ‘{if(ARGIND==1){print “处理a文件”} if(ARGIND==2){print “处理b文件”}}’ a b

  文件处理的顺序是先扫描完a文件,再扫描b文件

  NR 已经读出的记录数

  FNR 当前文件的记录数

  上面的例子也可以写成这样:

  awk ‘NR==FNR{print “处理文件a”} NR > FNR{print “处理文件b”}’ a b

  输入文件a和b,由于先扫描a,所以扫描a的时候必然有NR==FNR,然后扫描b的时候,FNR从1开始计数,而NR则接着a的行数继续计数,所以NR > FNR

  e.g 要显示文件的第10行至第15行

  awk ‘NR==10,NR==15{print}’ a

  FS 输入字段分隔符(缺省为:space:),相当于-F选项

  awk -F ‘:’ ‘{print}’ a 和 awk ‘BEGIN{FS=”:”}{print}’ a 是一样的

  OFS输出字段分隔符(缺省为:space:)

  awk -F ‘:’ ‘BEGIN{OFS=”;”}{print $1,$2,$3}’ b

  如果cat b为

  1:2:3

  4:5:6

  那么把OFS设置成”;”后就会输出

  1;2;3

  4;5;6

  (小注释:awk把分割后的第1、2、3个字段用$1,$2,$3…表示,$0表示整个记录(一般就是一整行))

  NF:当前记录中的字段个数

  awk -F ‘:’ ‘{print NF}’ b的输出为

  3

  3

  表明b的每一行用分隔符”:”分割后都3个字段

  可以用NF来控制输出符合要求的字段数的行,这样可以处理掉一些异常的行

  awk -F ‘:’ ‘{if (NF == 3)print}’ b

  RS:输入记录分隔符,缺省为”\n”

  缺省情况下,awk把一行看作一个记录;如果设置了RS,那么awk按照RS来分割记录

  例如,如果文件c,cat c为

  hello world; I want to go swimming tomorrow;hiahia

  运行 awk ‘BEGIN{ RS = “;” } {print}’ c 的结果为

  hello world

  I want to go swimming tomorrow

  hiahia

  合理的使用RS和FS可以使得awk处理更多模式的文档,例如可以一次处理多行,例如文档d cat d的输出为

  1 2

  3 4 5

  6 7

  8 9 10

  11 12

  hello

[1][2]

所有的失败,与失去自己的失败比起来,更是微不足道

linux之awk用法

相关文章:

你感兴趣的文章:

标签云: