awk 是流式编辑器,针对文档中的行来操作,一行一行地执行。awk 可以非常方便、高效地操作文档以及字符,从而实现我们想要的格式。它的功能非常强大,我在 shell 脚本中经常使用它来处理字符串。下面介绍几个在工作中使用 awk 较频繁的用法。
1. 截取文档中的某个段
示例命令如下:
#head–n2 test.txt |awk –F :{print $1} root bin本例中,-F 选项的作用是指定分隔符。如果不加 -F 选项,则以空格或者 tab 为分隔符。print 为打印的动作,用来打印某个字段。$1 为第 1 个字段,$2 为第 2 个字段,以此类推。但 $0 比较特殊,它表示整行:
#head–n2 test.txt |awk –F:{print $0} root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin注意 awk 的格式,-F 后面紧跟单引号,单引号里面为分隔符。print 的动作要用 {} 括起来,否则会报错。print 还可以打印自定义的内容,但是自定义的内容要用双引号括起来,如下所示:
#head–n2 test.txt |awk –F :{print $1″#”$2″#”$3″#”$4} root#x#0#0 bin#x#1#12. 匹配字符或者字符串
在文档中过滤出包含指定字符串的行,示例命令如下:
# awk /oo/test.txt root:x:0:0:root:/root:/bin/bash lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin mail:x:8:12:mail:/var/spool/mail:/sbin/nologin operator:x:11:0:operator:/root:/sbin/nologin postfix:x:89:89::/var/spool/postfix:/sbin/nologin setroubleshoot:x:992:990::/var/lib/setroubleshoot:/sbin/nologin这跟 sed 的用法类似,能实现 grep 的功能,但没有颜色显示,肯定没有 grep 用起来方便。不过 awk 还有比 sed 更强大的匹配,如下所示:
# awk –F :$1 ~/oo/test.txt root:x:0:0:root:/root:/bin/bash setroubleshoot:x:992:990::/var/lib/setroubleshoot:/sbin/nologin它可以让某个段去匹配,这里的~就是匹配的意思。
此外,awk 还可以多次匹配,如下所示:
# awk –F :/root/ {print $1,$3} /test/ {print $1,$3}test.txt root 0 operator11 test1006本例中,awk 匹配完 root,再匹配 test,并且只打印所匹配的段。
3. 条件操作符
有时候,在匹配字符的同时要给出限定条件,比如第 3 段为 0 。示例命令如下:
# awk –F :$3==”0″/etc/passwd root:x:0:0:root:/root:/bin/bash在 awk 中,我们可以用逻辑符号进行判断,比如 == 就是等于,也可以理解为精确匹配。另外,还有 >、>=、<、<=、!=等。值得注意的是,在和数字比较时,若把要比较的数字用双引号引起来,那么 awk 不会将其认为是数字,而会认为是字符,不加双引号就会认为是数字。示例命令如下:
# awk –F :$3>=”500″/etc/passwd|head–n 5 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown halt:x:7:0:halt:/sbin:/sbin/halt mail:x:8:12:mail:/var/spool/mail:/sbin/nologin nobody:x:65534:65534:KernelOverflowUser:/:/sbin/nologin dbus:x:81:81:System message bus:/:/sbin/nologin本例中,阿铭本想把 uid 大于等于 500 的行打印出来,但是结果并不理想。这是因为 awk 把所有的数字都当作字符了,就跟上一章中提到的 sort 排序原理一样。但是,如果不加双引号,就得到了想要的结果:
# awk –F :$3>=500/etc/passwd|head–n 5 nobody:x:65534:65534:KernelOverflowUser:/:/sbin/nologin systemd–coredump:x:999:997:systemdCoreDumper:/:/sbin/nologin polkitd:x:998:996:Userfor polkitd:/:/sbin/nologin geoclue:x:997:995:Userfor geoclue:/var/lib/geoclue:/sbin/nologin unbound:x:996:991:Unbound DNS resolver:/etc/unbound:/sbin/nologin # awk –F :$7!=”/sbin/nologin”/etc/passwd root:x:0:0:root:/root:/bin/bash sync:x:5:0:sync:/sbin:/bin/sync shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown halt:x:7:0:halt:/sbin:/sbin/halt aminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash上例中,!= 表示不匹配,它除了针对某一个段的字符进行逻辑比较外,还可以在两个段之间进行逻辑比较。如下所示:
# awk –F :$3<$4/etc/passwd adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin mail:x:8:12:mail:/var/spool/mail:/sbin/nologin games:x:12:100:games:/usr/games:/sbin/nologin ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin另外,还可以使用 && 和 ||,它们分别表示“并且”和“或者”。&& 的用法如下:
# awk –F :$3>”5″ && $3<“7”/etc/passwd shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown nobody:x:65534:65534:KernelOverflowUser:/:/sbin/nologin tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin|| 的用法如下:
# awk –F :$3>1000 || $7==”/bin/bash”/etc/passwd root:x:0:0:root:/root:/bin/bash nobody:x:65534:65534:KernelOverflowUser:/:/sbin/nologin aminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash4. awk 的内置变量
awk 常用的变量有 OFS、NF 和 NR。OFS 和 -F 选项有类似的功能,也是用来定义分隔符的,但是它是在输出的时候定义的。NF 表示用分隔符分隔后一共有多少段。NR 表示行号。
OFS 的用法示例如下:
#head–5/etc/passwd|awk –F :{OFS=”#”} {print $1,$3,$4} root#0#0 bin#1#1 daemon#2#2 adm#3#4 lp#4#7还有更高级一些的用法:
# awk –F :{OFS=”#”} {if ($3>=1000) {print $1,$2,$3,$4}}/etc/passwd nobody#x#65534#65534 aminglinux#x#1000#1000变量 NF 的具体用法如下:
#head–n3 /etc/passwd| awk –F :{print NF} 7 7 7 #head–n3 /etc/passwd| awk –F :{print $NF} /bin/bash /sbin/nologin /sbin/nologin这里 NF 是多少段,$NF 是最后一段的值。变量 NR 的具体用法如下:
#head–n3 /etc/passwd| awk –F :{print NR} 1 2 3我们还可以使用 NR 作为判断条件,如下所示:
# awk NR>40/etc/passwd insights:x:978:976:RedHatInsights:/var/lib/insights:/sbin/nologin sshd:x:74:74:Privilege–separated SSH:/var/empty/sshd:/sbin/nologin avahi:x:70:70:Avahi mDNS/DNS–SD Stack:/var/run/avahi–daemon:/sbin/nologin tcpdump:x:72:72::/:/sbin/nologin aminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bashNR 也可以配合段匹配一起使用,如下所示:
# awk –F :NR<20 && $1 ~ /roo//etc/passwd root:x:0:0:root:/root:/bin/bash5. awk 中的数学运算
awk 可以更改段值,示例命令如下:
#head–n 3/etc/passwd|awk –F :$1=”root” root x 00 root /root /bin/bash root x 11 bin /bin /sbin/nologin root x 22 daemon /sbin /sbin/nologinawk 也可以对各个段的值进行数学运算,示例命令如下:
#head–n2 /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin #head–n2 /etc/passwd|awk –F :{$7=$3+$4} #head–n2 /etc/passwd|awk –F :{$7=$3+$4; print $0} root x 00 root /root 0 bin x 11 bin /bin 2awk 还可以计算某个段的总和,示例命令如下:
# awk –F :{(tot=tot+$3)}; END {print tot}/etc/passwd 84699这里的 END 是 awk 特有的语法,表示所有的行都已经执行。如下所示:
# awk –F :{if ($1==”root”) {print $0}}/etc/passwd root:x:0:0:root:/root:/bin/bash其实 awk 可以写成一个脚本文件,而且有它特有的语法。在 awk 中使用 if 判断、for 循环都可以,只是在日常管理工作中,使用那么复杂的语句并不常见。
最后,我们再附上常见正则字符的解释。
. 表示任意一个字符,比如空格、特殊符号等。 * 表示 * 前面的字符有 0 个或多个,比如 a* 那就是 0 个 a 或者多个 a。 .* 表示任意个任意字符,就是贪婪匹配了。 + 就是 + 前面的字符有 1 个或者多个,如 a+ 就是 a、aa、aaa…… ? 就是 ? 前面的字符有 1 个或者 0 个。 { } 里面是一个范围,如 {1,5} 就是 { } 前面的字符有 1~5 个。 | 表示或者,如 a|b 就是 a 或者 b。 [ ] 表示这里面的任意一个字符,如 [abc] 就是 a 或者 b 或者 c。此外,也可以用范围 [0-9] 表示任意一个数字,用 [a-z] 表示任意一个小写字母。 ^ 表示开头。 $ 表示结尾。本篇文章节选自《跟阿铭学 Linux(第4版)》一书。
原文地址:https://linux.cn/article-13177-1.html