介绍正规表示法的应用与相关技巧
本文数据主要针对 Fedora Core 4 的系统进行说明, Fedora Core 1 主要是由 Red Hat Linux 9 改版而来, 这个 Red Hat Linux 9 并不是当前大家听到的 RHEL 喔!那是在 RHEL 出现之前的产品,基本上是在 2003 年以前的作品了!Fedora Core 4 则是在 2005 年 6 月份发布,使用的内核是 2.6.11 版,当时是很红的一个作品!只是生命周期太短,所以用这个 Fedora 系列来介绍 Server, 当时的决定确实有点莫名其妙了...
建议您前往本站查找最新版本的 Linux distribution 文章来阅读,比较不会浪费时间。那为何还需要编辑 Fedora Core 4 的数据呢? 鸟哥只想要做个自己曾经撰写过的文档内容保存而已啰! ^_^!最新文章请前往鸟站首页查阅啰!
正规表示法(或称为常规表示法)是通过一些特殊字符的排列,用以 搜索/取代/删除 一列或多列文本字符串, 简单的说,正规表示法就是用在字符串的处理上面的一项『表达式』。正规表示法并不是一个工具程序, 而是一个字符串处理的标准依据,如果您想要以正规表示法的方式处理字符串,就得要使用支持正规表示法的工具程序才行, 这类的工具程序很多,例如 vi, sed, awk 等等。
正规表示法对于系统管理员来说,实在是很重要。因为系统会产生很多的消息,这些消息有的重要,有的仅是告知, 此时,管理员可以通过正规表示法的功能来将重要消息截取出来,并产生便于查阅的报表,简化管理流程。此外, 很多的套装软件也都支持正规表示法的分析,例如邮件服务器的过滤机制(过滤垃圾信件)就是很重要的一个例子。 所以,您最好要了解正规表示法的相关技能,在未来管理主机时,才能够更精简处理您的日常事务!
注:本章节用户需要多加练习,因为目前很多的套件都是使用正规表示法来达成其『过滤、分析』的目的, 为了未来主机管理的便利性,用户至少要能看的懂正规表示法的意义!
[root@test root]# grep [-acinv] '搜索字符串' filename 参数说明: -a :将 binary 文件以 text 文件的方式搜索数据 -c :计算找到 '搜索字符串' 的次数 -i :忽略大小写的不同,所以大小写视为相同 -n :顺便输出行号 -v :反向选择,亦即显示出没有 '搜索字符串' 内容的那一行! --color=auto 可将正确的那个截取数据列出颜色 范例: [root@test root]# grep 'root' /var/log/secure 将 /var/log/secure 这个文件中有 root 的那一行秀出来 [root@test root]# grep -v 'root' /var/log/secure 若该行没有 root 才将数据秀出来到屏幕上! [root@test root]# last | grep root 若该行有 root 才将数据秀出来到屏幕上!grep 是一个很常见也很常用的指令,他最重要的功能就是进行字符串数据的比对, 然后将符合用户需求的字符串打印出来。 需要说明的是『grep 在数据中查寻一个字符串时,是以 "整行" 为单位来进行数据的截取的!』也就是说,假如一个文件内有 10 行,其中有两行具有你所搜索的字符串,则将那两行显示在屏幕上,其他的就丢弃了!
[root@test root]# vi regular_express.txt "Open Source" is a good mechanism to develop programs. apple is my favorite food. Football game is not use feet only. this dress doesn't fit me. However, this dress is about $ 3183 dollars. GNU is free air not free beer. Her hair is very beauty. I can’t finish the test. Oh! The soup taste good. motorcycle is cheap than car. This window is clear. the symbol '*' is represented as start. Oh! My god! The gd software is a library for drafting programs. You are the best is mean you are the no. 1. The world I like dog. google is the best tools for search keyword. goooooogle yes! go! go! Let's go. # I am VBird |
[root@test root]# LANG=en [root@test root]# export LANG好了,现在开始我们一个案例一个案例的来介绍吧!
[root@test root]# grep -n 'the' regular_express.txt 8:I can't finish the test. 12:the symbol '*' is represented as start. 15:You are the best is mean you are the no. 1. 16:The world那如果想要『反向选择』呢?也就是说,当该行没有 'the' 这个字符串时,才显示在屏幕上,那就直接使用:is the same with "glad". 18:google is the best tools for search keyword.
[root@test root]# grep -vn 'the' regular_express.txt
您会发现,屏幕上出现的行列为除了 8,12,15,16,18 五行之外的其他行列!
接下来,如果您想要取得不论大小写的 the 这个字符串,则:[root@test root]# grep -in 'the' regular_express.txt 8:I can't finish the test. 9:Oh! The soup taste good. 12:the symbol '*' is represented as start. 14:The gd software is a library for drafting programs. 15:You are the best is mean you are the no. 1. 16:The worldis the same with "glad". 18:google is the best tools for search keyword.
[root@test root]# grep -n 't[ae]st' regular_express.txt 8:I can't finish the test. 9:Oh! The soup taste good.了解了吧?其实 [] 里面不论有几个字符,他都谨代表某『一个』字符, 所以,上面的例子说明了,我需要的字符串是『tast』或『test』两个字符串而已! 而如果想要搜索到有 oo 的字符时,则使用:
[root@test root]# grep -n 'oo' regular_express.txt 1:"Open Source" is a good mechanism to develop programs. 2:apple is my favorite food. 3:Football game is not use feet only. 9:Oh! The soup taste good. 18:google is the best tools for search keyword. 19:goooooogle yes!但是,如果我不想要 oo 前面有 g 的话呢?此时,可以利用在集合字符的反向选择 [^] 来达成
[root@test root]# grep -n '[^g]oo' regular_express.txt 2:apple is my favorite food. 3:Football game is not use feet only. 18:google is the best tools for search keyword. 19:goooooogle yes!意思就是说,我需要的是 oo ,但是 oo 前面不能是 g 就是了! 仔细比较上面两个表格,妳会发现,第 1,9 行不见了,因为 oo 前面出现了 g 所致! 第 2,3 行没有疑问,因为 foo 与 Foo 均可被接受!但是第 18 行明明有 google 的 goo 啊~ 别忘记了,因为该行后面出现了 tool 的 too 啊!所以该行也被列出来~ 也就是说, 18 行里面虽然出现了我们所不要的项目 (goo) 但是由于有需要的项目 (too) , 因此,是符合字符串搜索的喔!
[root@test root]# grep -n '[^a-z]oo' regular_express.txt 3:Football game is not use feet only.也就是说,当我们在一组集合字符中,如果该字符组是连续的,例如大写英文/小写英文/数字等等, 就可以使用[a-z],[A-Z],[0-9]等方式来书写,那么如果我们的要求字符串是数字与英文呢? 呵呵!就将他全部写在一起,变成:[a-zA-Z0-9]
[root@test root]# grep -n '[0-9]' regular_express.txt 5:However, this dress is about $ 3183 dollars. 15:You are the best is mean you are the no. 1.这样对于 [] 以及 [^] 以及 [] 当中的 - 有了解了吗?! ^_^y
[root@test root]# grep -n '^the' regular_express.txt 12:the symbol '*' is represented as start.此时,就只剩下第 12 行,因为只有第 12 行的行首是 the 开头啊~此外, 如果我想要开头是小写字符的那一行就列出呢?可以这样:
[root@test root]# grep -n '^[a-z]' regular_express.txt 2:apple is my favorite food. 4:this dress doesn't fit me. 10:motorcycle is cheap than car. 12:the symbol '*' is represented as start. 18:google is the best tools for search keyword. 19:goooooogle yes!如果我不想要开头是英文本母,则可以是这样:
[root@test root]# grep -n '^[^a-zA-Z]' regular_express.txt 1:"Open Source" is a good mechanism to develop programs. 20:# I am VBird注意到了吧?那个 ^ 符号,在字符集合符号(括号[])之内与之外是不同的! 在 [] 内代表『反向选择』,在 [] 之外则代表定位在行首的意义!要分清楚喔!
[root@test root]# grep -n '\.$' regular_express.txt 1:"Open Source" is a good mechanism to develop programs. 2:apple is my favorite food. 3:Football game is not use feet only. 4:this dress doesn't fit me. 10:motorcycle is cheap than car. 11:This window is clear. 12:the symbol '*' is represented as start. 15:You are the best is mean you are the no. 1. 16:The world特别注意到,因为小数点具有其他意义(底下会介绍),所以必须要使用转义字符(\)来加以解除其特殊意义! 不过,您或许会觉得奇怪,但是第 5~9 行最后面也是 . 啊~怎么无法打印出来?? 这里就牵涉到 Windows 平台的软件对于断行字符的判断问题了!我们使用 cat -A 将第五行拿出来看, 您会发现:is the same with "glad". 17:I like dog. 18:google is the best tools for search keyword.
[root@test root]# cat -A regular_express.txt However, this dress is about $ 3183 dollars.^M$注意到了没?最后面的断行字符应该是 $ 才对,但是,因为 Windows 的 nodepad 会主动加上 ^M 作为断行的判断,因此,那个 . 自然就不是紧接在 $ 之前喔!这样可以了解 ^ 与 $ 的意义吗? 好了,先不要看底下的解答,自己想一想,那么如果我想要找出来,哪一行是『空白行』, 也就是说,该行并没有输入任何数据,该如何搜索??
[root@test root]# grep -n '^$' regular_express.txt
21:
因为只有行首跟行尾( ^$ ),所以,这样就可以找出空白行啦!再来,
假设您已经知道在一个批量脚本 (shell script) 或者是设置档当中,
空白行与开头为 # 的那一行是注解,因此如果您要将数据列出给别人参考时,
可以将这些数据省略掉,以节省保贵的纸张,那么,您可以怎么作呢?
我们以 /etc/syslog.conf 这个文件来作范例,您可以自行参考一下输出的结果:[root@test root]# cat /etc/syslog.conf [root@test root]# grep -v '^$' /etc/syslog.conf | grep -v '^#'是否节省很多版面啊??
[root@test root]# grep -n 'g..d' regular_express.txt 1:"Open Source" is a good mechanism to develop programs. 9:Oh! The soup taste good. 16:The world因为强调 g 与 d 之间一定要存在两个字符,因此,第 13 行的 god 与第 14 行的 gd 就不会被列出来啦!再来,如果我想要列出有 oo, ooo, oooo 等等的数据, 也就是说,至少要有两个 o 以上,该如何是好??是 o* 还是 oo* 还是 ooo* 呢? 虽然您可以试看看结果, 不过结果太占版面了 @_@ ,所以,我这里就直接说明。is the same with "glad".
[root@test root]# grep -n 'ooo*' regular_express.txt 1:"Open Source" is a good mechanism to develop programs. 2:apple is my favorite food. 3:Football game is not use feet only. 9:Oh! The soup taste good. 18:google is the best tools for search keyword. 19:goooooogle yes!这样理解 * 的意义了吗?!好了,现在出个练习,如果我想要字符串开头与结尾都是 g, 但是两个 g 之间仅能存在至少一个 o ,亦即是 gog, goog, gooog.... 等等, 那该如何?
[root@test root]# grep -n 'goo*g' regular_express.txt 18:google is the best tools for search keyword. 19:goooooogle yes!如此了解了吗?好,再来一题,如果我想要找出 g 开头与 g 结尾的字符串, 当中的字符可有可无,那该如何是好?是『g*g』吗?
[root@test root]# grep -n 'g*g' regular_express.txt 1:"Open Source" is a good mechanism to develop programs. 3:Football game is not use feet only. 9:Oh! The soup taste good. 13:Oh! My god! 14:The gd software is a library for drafting programs. 16:The world但测试的结果竟然出现这么多行??太诡异了吧? 其实一点也不诡异,因为 g*g 里面的 g* 代表『空字符或一个以上的 g』 在加上后面的 g ,因此,整个 RE 的内容就是 g, gg, ggg, gggg , 因此,只要该行当中拥有一个以上的 g 就符合所需了!is the same with "glad". 17:I like dog. 18:google is the best tools for search keyword. 19:goooooogle yes!
[root@test root]# grep -n 'g.*g' regular_express.txt 1:"Open Source" is a good mechanism to develop programs. 14:The gd software is a library for drafting programs. 18:google is the best tools for search keyword. 19:goooooogle yes!因为是代表 g 开头与 g 结尾,中间任意字符均可接受,所以,第 1 与第 14 行是可接受的喔! 这个 .* 的 RE 表示任意字符是很常见的,希望大家能够理解并且熟悉!
[root@test root]# grep -n '[0-9][0-9]*' regular_express.txt 5:However, this dress is about $ 3183 dollars. 15:You are the best is mean you are the no. 1.虽然使用 grep -n '[0-9]' regular_express.txt 也可以得到相同的结果, 但鸟哥希望大家能够理解上面指令当中 RE 表示法的意义才好!
[root@test root]# grep -n 'o\{2\}' regular_express.txt 1:"Open Source" is a good mechanism to develop programs. 2:apple is my favorite food. 3:Football game is not use feet only. 9:Oh! The soup taste good. 18:google is the best tools for search keyword. 19:goooooogle yes!这样看似乎与 ooo* 的字符没有什么差异啊?因为第 19 行有多个 o 依旧也出现了! 好,那么换个搜索的字符串,假设我们要找出 g 后面接 2 到 5 个 o ,然后再接一个 g 的字符串, 他会是这样:
[root@test root]# grep -n 'go\{2,5\}g' regular_express.txt 18:google is the best tools for search keyword.嗯!很好!第 19 行终于没有被取用了(因为 19 行有 6 个 o 啊!)。 那么,如果我想要的是 2 个 o 以上的 goooo....g 呢?除了可以是 gooo*g ,也可以是:
[root@test root]# grep -n 'go\{2,\}g' regular_express.txt 18:google is the best tools for search keyword. 19:goooooogle yes!呵呵!就可以找出来啦~
RE 字符 | 意义与范例 |
^word | 待搜索的字符串(word)在行首! |
范例:grep -n '^#' regular_express.txt 搜索行首为 # 开始的那一行! | |
word$ | 待搜索的字符串(word)在行尾! |
范例:grep -n '!$' regular_express.txt 将行尾为 ! 的那一行打印出来! | |
. | 代表『任意一个』字符,一定是一个任意字符! |
范例:grep -n 'e.e' regular_express.txt 搜索的字符串可以是 (eve) (eae) (eee) (e e), 但不能仅有 (ee) !亦即 e 与 e 中间『一定』仅有一个字符,而空白字符也是字符! | |
\ | 跳脱字符,将特殊符号的特殊意义去除! |
范例:grep -n \' regular_express.txt 搜索含有单引号 ' 的那一行! | |
* | 重复零个或多个的前一个 RE 字符 |
范例:grep -n 'ess*' regular_express.txt 找出含有 (es) (ess) (esss) 等等的字符串,注意,因为 * 可以是 0 个,所以 es 也是符合带搜索字符串。另外,因为 * 为重复『前一个 RE 字符』的符号, 因此,在 * 之前必须要紧接着一个 RE 字符喔!例如任意字符则为 『.*』 ! | |
\{n,m\} | 连续 n 到 m 个的『前一个 RE 字符』 若为 \{n\} 则是连续 n 个的前一个 RE 字符, 若是 \{n,\} 则是连续 n 个以上的前一个 RE 字符! |
范例:grep -n 'go\{2,3\}g' regular_express.txt 在 g 与 g 之间有 2 个到 3 个的 o 存在的字符串,亦即 (goog)(gooog) | |
[] | 字符集合的 RE 特殊字符的符号 |
[list] 范例:grep -n 'g[ld]' regular_express.txt 搜索含有 (gl) 或 (gd) 的那一行~ 需要特别留意的是,在 [] 当中『谨代表一个待搜索的字符』, 例如: a[afl]y 代表搜索的字符串可以是 aay, afy, aly 亦即 [afl] 代表 a 或 f 或 l 的意思! [ch1-ch2] 范例:grep -n '[0-9]' regular_express.txt 搜索含有任意数字的那一行!需特别留意,在字符集合 [] 中的减号 - 是有特殊意义的,他代表两个字符之间的所有连续字符!但这个连续与否与 ASCII 编码有关, 因此,您的编码需要设置正确(在 bash 当中,需要确定 LANG 与 LANGUAGE 的变量是否正确!) 例如所有大写字符则为 [A-Z] [^] 范例:grep -n 'oo[^t]' regular_express.txt 搜索的字符串可以是 (oog) (ood) 但不能是 (oot) ,那个 ^ 在 [] 内时, 代表的意义是『反向选择』的意思~例如,我不要大写字符,则为 [^A-Z] ~ 但是,需要特别注意的是,如果以 grep -n [^A-Z] regular_express.txt 来搜索, 却发现该文件内的所有行都被列出,为什么?因为这个 [^A-Z] 是『非大写字符』的意思, 因为每一行均有非大写字符,例如第一行的 "Open Source" 就有 p,e,n,o.... 等等的小写字符, 以及双引号 (") 等字符,所以当然符合 [^A-Z] 的搜索! |
RE 字符 | 意义与范例 |
+ | 重复『一个或一个以上』的前一个 RE 字符 |
范例:egrep -n 'go+d' regular_express.txt 搜索 (god) (good) (goood)... 等等的字符串。 那个 o+ 代表『一个以上的 o 』所以,上面的运行成果会将第 1, 9, 13 行列出来。 | |
? | 『零个或一个』的前一个 RE 字符 |
范例:egrep -n 'go?d' regular_express.txt 搜索 (gd) (god) 这两个字符串。 那个 o? 代表『空的或 1 个 o 』所以,上面的运行成果会将第 13, 14 行列出来。 有没有发现到,这两个案例( 'go+d' 与 'go?d' )的结果集合与 'go*d' 相同? 想想看,这是为什么喔! ^_^ | |
| | 用或( or )的方式找出数个字符串 |
范例:egrep -n 'gd|good' regular_express.txt 搜索 gd 或 good 这两个字符串,注意,是『或』! 所以,第 1,9,14 这三行都可以被打印出来喔!那如果还想要找出 dog 呢?就这样啊: egrep -n 'gd|good|dog' regular_express.txt | |
( ) | 找出『群组』字符串 |
范例:egrep -n 'g(la|oo)d' regular_express.txt 搜索 (glad) 或 (good) 这两个字符串,因为 g 与 d 是重复的,所以, 我就可以将 la 与 oo 列于 ( ) 当中,并以 | 来分隔开来,就可以啦! 此外,这个功能还可以用来作为『多个重复群组』的判别喔!举例来说: echo 'AxyzxyzxyzxyzC' | egrep 'A(xyz)+C' 上面的例子当中,意思是说,我要找开头是 A 结尾是 C ,中间有一个以上的 "xyz" 字符串的意思~ |
Name Chinese English Math Average DmTsai 80 60 92 77.33 VBird 75 55 80 70.00 Ken 60 90 70 73.33分成五个字段,各个字段分配到正确的位置去!但是因为每个字段的原始数据其实并非是如此固定的, 而我就是想要如此表示出这些数据,此时,就得需要打印格式管理员 printf 的帮忙了! printf 可以帮我们将数据输出的结果格式化,而且而支持一些特殊的字符~底下我们就来看看!
[root@linux ~]# printf '打印格式' 实际内容 参数: 关于格式方面的几个特殊样式: \a 警告声音输出 \b 倒退键(backspace) \f 清除屏幕 (form feed) \n 输出新的一行 \r 亦即 Enter 按键 \t 水平的 [tab] 按键 \v 垂直的 [tabl] 按键 \xNN NN 为两位数的数字,可以转换数字成为字符。 关于 C 编程语言内,常见的变量格式 %ns 那个 n 是数字, s 代表 string ,亦即多少个字符; %ni 那个 n 是数字, i 代表 integer ,亦即多少整数字数; %N.nf 那个 n 与 N 都是数字, f 代表 floating (浮点),如果有小数字数, 假设我共要十个位数,但小数点有两位,即为 %10.2f 啰! 范例: 范例一:将刚刚上头的数据变成文件,仅列出姓名与成绩:(用 [tab] 分隔 [root@linux ~]# printf '%s\t %s\t %s\t %s\t %s\t \n' `cat printf.txt` Name Chinese English Math Average DmTsai 80 60 92 77.33 VBird 75 55 80 70.00 Ken 60 90 70 73.33 # 假设我将上面的文件存成 printf.txt 文件文件名,则可利用上面的案例, # 将每个单字中间以 [tab] 按键隔开。由上面的输出来看,虽然第二行以后是 OK 的, # 但是第一行则因为某些单字长度较长,所以就无法对齐了!而 %s 表示以字符串 (string) # 的方式来展现该内容。而每个内容则以 \t 即 [tab] 来隔开啊! 范例二:将上述数据关于第二行以后,分别以字符串、整数、小数点来显示: [root@linux ~]# printf '%10s %5i %5i %5i %8.2f \n' `cat printf.txt |\ > grep -v Name` DmTsai 80 60 92 77.33 VBird 75 55 80 70.00 Ken 60 90 70 73.33 # 这个时候的输出可就有趣了!我将几个内容分成不同的数据格式来输出, # 最有趣的应该是 %8.2f 这个项目了!我可以针对不同的小数字数来进行格式输出, # 例如变成底下的样子时,您自己试看看,会是输出什么结果喔! # printf '%10s %5i %5i %5i %8.1f \n' `cat printf.txt | grep -v Name` 范例三:列出数值 45 代表的字符为何? [root@linux ~]# printf '\x45\n' E # 这东西也很好玩~他可以将数值转换成为字符,如果您会写 script 的话, # 可以自行测试一下,由 20~80 之间的数值代表的字符是啥喔! ^_^printf 的使用相当的广泛喔!包括等一下后面会提到的 awk 以及在 C 编程语言当中使用的屏幕输出, 都是利用 printf 呢!鸟哥这里也只是列出一些可能会用到的格式而已, 有兴趣的话,可以自行多作一些测试与练习喔! ^_^
[root@linux ~]# sed [-nefr] [动作] 参数: -n :使用安静(silent)模式。在一般 sed 的用法中,所有来自 STDIN 的数据一般都会被列出到屏幕上。但如果加上 -n 参数后,则只有经过 sed 特殊处理的那一行(或者动作)才会被列出来。 -e :直接在指令列模式上进行 sed 的动作编辑; -f :直接将 sed 的动作写在一个文件内, -f filename 则可以运行 filename 内的 sed 动作; -r :sed 的动作支持的是延伸型正规表示法的语法。(缺省是基础正规表示法语法) -i :直接修改读取的文件内容,而不是由屏幕输出。 动作说明: [n1[,n2]]function n1, n2 :不见得会存在,一般代表『选择进行动作的行数』,举例来说,如果我的动作 是需要在 10 到 20 行之间进行的,则『 10,20[动作行为] 』 function 有底下这些咚咚: a :添加, a 的后面可以接字符串,而这些字符串会在新的一行出现(目前的下一行)~ c :取代, c 的后面可以接字符串,这些字符串可以取代 n1,n2 之间的行! d :删除,因为是删除啊,所以 d 后面通常不接任何咚咚; i :插入, i 的后面可以接字符串,而这些字符串会在新的一行出现(目前的上一行); p :打印,亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运作~ s :取代,可以直接进行取代的工作哩!通常这个 s 的动作可以搭配 正规表示法!例如 1,20s/old/new/g 就是啦! 范例: 范例一:将 /etc/passwd 的内容列出,并且我需要打印行号,同时,请将第 2~5 行删除! [root@linux ~]# nl /etc/passwd | sed '2,5d' 1 root:x:0:0:root:/root:/bin/bash 6 sync:x:5:0:sync:/sbin:/bin/sync 7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown .....(后面省略)..... # 看到了吧?因为 2-5 行给他删除了,所以显示的数据中,就没有 2-5 行啰~ # 另外,注意一下,原本应该是要下达 sed -e 才对,没有 -e 也行啦! # 同时也要注意的是, sed 后面接的动作,请务必以 '' 两个单引号括住喔! # 而,如果只要删除第 2 行,可以使用 nl /etc/passwd | sed '2d' 来达成, # 至于第 3 到最后一行,则是 nl /etc/passwd | sed '3,$d' 的啦! 范例二:承上题,在第二行后(亦即是加在第三行)加上『drink tea?』字样! [root@linux ~]# nl /etc/passwd | sed '2a drink tea' 1 root:x:0:0:root:/root:/bin/bash 2 bin:x:1:1:bin:/bin:/sbin/nologin drink tea 3 daemon:x:2:2:daemon:/sbin:/sbin/nologin # 嘿嘿!在 a 后面加上的字符串就已将出现在第二行后面啰!那如果是要在第二行前呢? # nl /etc/passwd | sed '2i drink tea' 就对啦! 范例三:在第二行后面加入两行字,例如『Drink tea or .....』『drink beer?』 [root@linux ~]# nl /etc/passwd | sed '2a Drink tea or ......\ > drink beer ?' 1 root:x:0:0:root:/root:/bin/bash 2 bin:x:1:1:bin:/bin:/sbin/nologin Drink tea or ...... drink beer ? 3 daemon:x:2:2:daemon:/sbin:/sbin/nologin # 这个范例的重点是,我们可以添加不只一行喔!可以添加好几行~ # 但是每一行之间都必须要以反斜线 \ 来进行新行的增加喔!所以,上面的例子中, # 我们可以发现在第一行的最后面就有 \ 存在啦!那是一定要的喔! 范例四:我想将第2-5行的内容取代成为『No 2-5 number』呢? [root@linux ~]# nl /etc/passwd | sed '2,5c No 2-5 number' 1 root:x:0:0:root:/root:/bin/bash No 2-5 number 6 sync:x:5:0:sync:/sbin:/bin/sync # 没有了 2-5 行,嘿嘿嘿嘿!我们要的数据就出现啦! 范例五:仅列出第 5-7 行 [root@linux ~]# nl /etc/passwd | sed -n '5,7p' 5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin 6 sync:x:5:0:sync:/sbin:/bin/sync 7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown # 为什么要加 -n 的参数呢?您可以自行下达 sed '5,7p' 就知道了!(5-7行会重复输出) # 有没有加上 -n 的参数时,输出的数据可是差很多的喔! 范例六:我们可以使用 ifconfig 来列出 IP ,若仅要 eth0 的 IP 时? [root@linux ~]# ifconfig eth0 eth0 Link encap:Ethernet HWaddr 00:51:FD:52:9A:CA inet addr:192.168.1.12 Bcast:192.168.1.255 Mask:255.255.255.0 inet6 addr: fe80::250:fcff:fe22:9acb/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 .....(以下省略)..... # 其实,我们要的只是那个 inet addr:..那一行而已,所以啰,利用 grep 与 sed 来捉 [root@linux ~]# ifconfig eth0 | grep 'inet ' | sed 's/^.*addr://g' | \ > sed 's/Bcast.*$//g' # 您可以将每个管线 (|) 的过程都分开来运行,就会晓得原因啰! # 去头去尾之后,就会得到我们所需要的 IP 亦即是 192.168.1.12 啰~ 范例七:将 /etc/man.config 文件的内容中,有 MAN 的设置就取出来,但不要说明内容。 [root@linux ~]# cat /etc/man.config | grep 'MAN'| sed 's/#.*$//g' | \ > sed '/^$/d' # 每一行当中,若有 # 表示该行为注解,但是要注意的是,有时候, # 注解并不是写在第一个字符,亦即是写在某个指令后方,如底下的模样: # 『shutdown -h now # 这个是关机的指令』,注解 # 就在指令的后方了。 # 因此,我们才会使用到将 #.*$ 这个正规表示法! 范例八:利用 sed 直接在 ~/.bashrc 最后一行加入『# This is a test』 [root@linux ~]# sed -i '$a # This is a test' ~/.bashrc # 上头的 -i 参数可以让你的 sed 直接去修改后面接的文件内容喔!而不是由屏幕输出。 # 至于那个 $a 则代表最后一行才添加的意思。总之,这个 sed 不错用啦!而且很多的 shell script 都会使用到这个指令的功能~ sed 可以帮助系统管理员管理好日常的工作喔!要仔细的学习呢!
[root@linux ~]# awk '条件类型1{动作1} 条件类型2{动作2} ...' filename
awk 可以处理后续接的文件,也可以读取来自前个指令的 standard output 。
但如前面说的, awk 主要是处理『每一行的字段内的数据』,而缺省的『字段的分隔符号为
"空白键" 或 "[tab]键" 』!举例来说,我们用 last 可以将登录者的数据取出来,
结果如下所示:
[root@linux ~]# last
dmtsai pts/0 192.168.1.12 Mon Aug 22 09:40 still logged in
root tty1 Mon Aug 15 11:38 - 11:39 (00:01)
reboot system boot 2.6.11 Sun Aug 14 18:18 (7+15:41)
dmtsai pts/0 192.168.1.12 Fri Aug 12 12:07 - 12:08 (00:01)
若我想要取出帐号与登录者的 IP ,且帐号与 IP 之间以 [tab] 隔开,则会变成这样:
[root@linux ~]# last | awk '{print $1 "\t" $3}'
dmtsai 192.168.1.12
root Mon
reboot boot
dmtsai 192.168.1.12
因为不论哪一行我都要处理,因此,就不需要有 "条件类型" 的限制!我所想要的是第一栏以及第三栏,
但是,第二行及第三行的内容怪怪的~这是因为数据格式的问题啊!所以啰~使用 awk
的时候,请先确认一下您的数据当中,如果是连续性的数据,请不要有空格或 [tab]
在内,否则,就会像这个例子这样,会发生误判喔!变量名称 | 代表意义 | NF | 每一行 ($0) 拥有的字段总数 | NR | 目前 awk 所处理的是『第几行』数据 | FS | 目前的分隔字符,缺省是空白键 |
[root@linux ~]# last | awk '{print $1 "\t lines: " NR "\t columes: " NF}'
dmtsai lines: 1 columes: 10
root lines: 2 columes: 9
reboot lines: 3 columes: 9
dmtsai lines: 4 columes: 10
这样可以了解 NR 与 NF 的差别了吧?好了,底下来谈一谈所谓的 "条件类型" 了吧!运算单元 | 代表意义 |
> | 大于 |
< | 小于 |
>= | 大于或等于 |
<= | 小于或等于 |
== | 等于 |
!= | 不等于 |
[root@linux ~]# cat /etc/passwd | \ > awk '{FS=":"} $3 < 10 {print $1 "\t " $3}' root:x:0:0:root:/root:/bin/bash bin 1 daemon 2 ......(以下省略)......有趣吧!不过,怎么第一行没有正确的显示出来呢?这是因为我们读入第一行的时候, 那些变量 $1, $2... 缺省还是以空白键为分隔的,所以虽然我们定义了 FS=":" 了, 但是却仅能在第二行后才开始生效。那么怎么办呢?我们可以预先设置 awk 的变量啊! 利用 BEGIN 这个关键字喔!这样做:
[root@linux ~]# cat /etc/passwd | \ > awk 'BEGIN {FS=":"} $3 < 10 {print $1 "\t " $3}' root 0 bin 1 daemon 2 ......(以下省略)......很有趣吧!而除了 BEGIN 之外,我们还有 END 呢!另外,如果要用 awk 来进行『计算功能』呢?以底下的例子来看, 假设我有一个薪资数据表,内容是这样的:
Name 1st 2nd 3th VBird 23000 24000 25000 DMTsai 21000 20000 23000 Bird2 43000 42000 41000如何帮我计算每个人的总额呢?而且我还想要格式化输出喔! 你可以将上面的数据保存成一个名称为 pay.txt 的文件,则:
[root@linux ~]# cat pay.txt | \ > awk 'NR==1{printf "%10s %10s %10s %10s %10s\n",$1,$2,$3,$4,"Total" } NR>=2{total = $2 + $3 + $4 printf "%10s %10d %10d %10d %10.2f\n", $1, $2, $3, $4, total}' Name 1st 2nd 3th Total VBird 23000 24000 25000 72000.00 DMTsai 21000 20000 23000 64000.00 Bird2 43000 42000 41000 126000.00上面的例子有几个重要事项应该要先说明的:
[root@linux ~]# cat pay.txt | \ > awk '{if(NR==1) printf "%10s %10s %10s %10s %10s\n",$1,$2,$3,$4,"Total"} NR>=2{total = $2 + $3 + $4 printf "%10s %10d %10d %10d %10.2f\n", $1, $2, $3, $4, total}'你可以仔细的比对一下上面两个输入有啥不同~从中去了解两种语法吧! 我个人是比较倾向于使用第一种语法,因为会比较有统一性啊! ^_^
[root@linux ~]# mkdir -p /tmp/test [root@linux ~]# cat /etc/passwd | \ > sed -e '4d' -e '6c no six line' > /tmp/test/passwd # 注意一下, sed 后面如果要接超过两个以上的动作时,每个动作前面得加 -e 才行!接下来讨论一下关于 diff 的用法吧!
[root@linux ~]# diff [-bBi] from-file to-file 参数: from-file :一个文件名,作为原始比对文件的文件名; to-file :一个文件名,作为目的比对文件的文件名; 注意,from-file 或 to-file 可以 - 取代,那个 - 代表『Standard input』之意。 -b :忽略一行当中,仅有多个空白的差异(例如 "about me" 与 "about me" 视为相同 -B :忽略空白行的差异。 -i :忽略大小写的不同。 范例: 范例一:比对 /tmp/test/passwd 与 /etc/passwd 的差异: [root@linux ~]# diff /etc/passwd /tmp/test/passwd 4d3 <==这里是说,左边文件(/etc/passwd)第四行被删除 (d) < adm:x:3:4:adm:/var/adm:/sbin/nologin 6c5 <==这里是说,左边文件的第六行被取代成右边文件(/tmp/test/passwd)的第五行 < sync:x:5:0:sync:/sbin:/bin/sync --- > no six line # 很聪明吧!用 diff 就把我们刚刚的处理给比对完毕了!用 diff 比对文件真的是很简单喔!另外, diff 也可以比对整个目录下的差异喔! 举例来说,我们将两个目录比对一下:
[root@linux ~]# diff /etc /tmp/test ......(前面省略)..... Only in /etc: paper.config diff /etc/passwd /tmp/test/passwd 4d3 < adm:x:3:4:adm:/var/adm:/sbin/nologin 6c5 < sync:x:5:0:sync:/sbin:/bin/sync --- > no six line Only in /etc: passwd- ......(后面省略).....我们的 diff 很聪明吧!还可以比对不同目录下的相同文件名的内容, 这样真的很方便喔~
[root@linux ~]# cmp [-s] file1 file2 参数: -s :将所有的不同点的比特处都列出来。因为 cmp 缺省仅会输出第一个发现的不同点。 范例: 范例一:用 cmp 比较一下 /etc/passwd 与 /tmp/test/passwd [root@linux ~]# cmp /etc/passwd /tmp/test/passwd /etc/passwd /tmp/test/passwd differ: byte 106, line 4看到了吗?第一个发现的不同点在第四行,而且比特数是在第 106 个比特处! 这个 cmp 也可以用来比对 binary 啦! ^_^
[root@linux ~]# mkdir /tmp/old; cp /etc/passwd /tmp/old [root@linux ~]# mkdir /tmp/new; cp /tmp/test/passwd /tmp/new [root@linux ~]# cd /tmp ; diff -Naur old/ new/ > test.patch此时,在 /tmp/test.patch 文件之中,就记录了新旧的文件之间的差异, 对了!您必须要了解的是,用 diff 制作这个文件时,旧的文件必须是在前面,亦即是 diff oldfile newfile 才行喔!此外,新旧文件的『相对目录位置』最好也是一样比较好喔! OK!那么如何将旧的内容 (/tmp/old/passwd) 更新到新版 (/tmp/new/passwd) 的内容呢? 简单的说,可以用这样:
[root@linux ~]# patch -pN < patch_file 参数: -p :后面可以接『取消几层目录』的意思。 范例: 范例一:将刚刚制作出来的 patch file 用来更新旧版数据 [root@linux ~]# cd /tmp/old [root@linux ~]# patch -p1 < /tmp/test.patch patching file passwd # 为什么这里会使用 -p1 呢?因为我们在比对新旧版的数据时,是在 /tmp 底下, # 而实际的数据是在 /tmp/old 里面,因此,当我们进入到 /tmp/old 时, # 再查阅 /tmp/test.patch 的第一行如下: # diff -Naur old/passwd new/passwd (用 head -n 1 /tmp/test.patch) # 发现到,我们所在的目录其实是 old 里面,所以,就必须要减去一层目录。更详细的 patch 用法我们会在后续的第五章跟大家介绍, 这里仅是介绍给您,呵呵!我们可以利用 diff 来比对两个文件之间的差异, 更可进一步利用这个功能来制作修补文件 (patch file) ,让大家更容易进行比对与升级呢! 很不赖吧! ^_^
[root@linux ~]# pr /etc/man.config 2003-02-10 23:20 /etc/man.config Page 1 # # Generated automatically from man.conf.in by the # configure script. .....以下省略......上面特殊字体那一行呢,其实就是使用 pr 处理后所造成的标题啦~ 标题中会有『文件时间』、『文件文件名』及『页码』三大项目。 更多的 pr 使用,请参考 pr 的说明啊! ^_^