第 9 堂课：正规表示法与 shell script 初探

9.1：正规表示法的应用

用户在操作电子邮件时，常常会发现到许多邮件被丢到垃圾桶或者是被判定为病毒邮件，这些判定的方式，很多就是通过『正规表示法』来处理的！ 正规表示法 (Regular Expression) 就是处理字符串的方法，他是以行为单位来进行字符串的处理行为，正规表示法通过一些特殊符号的辅助， 可以让用户轻易的达到『搜索/删除/取代』某特定字符串的处理程序！

9.1.1：grep 指令的应用

由于正规表示法牵涉到数据的截取，因此读者们先了解一下最简单的数据截取指令: grep 的高端用法。例如，找出 /etc/passwd 当中， 含有 student 的那行，且列出行号：

[student@localhost ~]$ grep -n student /etc/passwd
44:student:x:1000:1000:student:/home/student:/bin/bash

读者们会看到输出的信息中，最前面会多出一个行号的信息，就可以让用户知道该信息来自文件的那一行这样。 另外，当用户有观察开机流程所产生的信息时，例如想要查找开机过程产生的问题等等，可以使用 dmesg 这个指令。 只是这个指令输出的信息量非常庞大。若用户仅须知道某张网络卡的相关信息，那该如何处理呢？ 先让我们来查找一下网络卡的代号：

# 单纯使用 dmesg 的情况下，数据量相当庞大
[student@localhost ~]$ dmesg
......
[    9.775271] virbr0: port 1(virbr0-nic) entered listening state
[    9.839811] virbr0: port 1(virbr0-nic) entered disabled state
[   10.359755] f 4026531860#85: failed to wait on release 20 after...
[   11.638731] snd_hda_intel 0000:00:06.0: Invalid position buffer...

# 使用底下的方法可以找到网络卡的代号
[student@localhost ~]$ ip link show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
2: ens3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP mode DEFAULT group default qlen 1000
    link/ether 52:54:00:85:b1:54 brd ff:ff:ff:ff:ff:ff
3: virbr0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN mode DEFAULT group default qlen 1000
    link/ether 52:54:00:b0:2f:5d brd ff:ff:ff:ff:ff:ff
4: virbr0-nic: <BROADCAST,MULTICAST> mtu 1500 qdisc fq_codel master virbr0 state DOWN mode DEFAULT group default qlen 1000
    link/ether 52:54:00:b0:2f:5d brd ff:ff:ff:ff:ff:ff

上面输出的 ens3 就是网卡代号，而 lo 与 virbr0 等则是内部循环测试网卡与虚拟机的桥接器，那个可以暂时略过不理。 现在，让我们从 dmesg 的开机消息中，找出网络卡相关的消息吧：

[student@localhost ~]$ dmesg | grep -n -i ens3
552:[    1.853119] virtio_net virtio0 ens3: renamed from eth0
616:[    7.911858] IPv6: ADDRCONF(NETDEV_UP): ens3: link is not ready

大概在 616 行是比较重要的项目。那如果我们还需要知道该行之前 (before) 的 4 行以及之后 (after) 的 3 行， 以了解这行前后文的话，则可以这样处理：

[student@localhost ~]$ dmesg | grep -n -A 3 -B 4 -i ens3
612-[    6.424222] RPC: Registered tcp transport module.
613-[    6.424223] RPC: Registered tcp NFSv4.1 backchannel transport module.
614-[    7.577042] f 4026531841#1: failed to wait on release 1 after spincount 301
615-[    7.905917] bridge: filtering via arp/ip/ip6tables is no longer available by default. Update your scripts to load br_netfilter if you need this.
616:[    7.911858] IPv6: ADDRCONF(NETDEV_UP): ens3: link is not ready  <==以这行为基准
617-[    7.926902] tun: Universal TUN/TAP device driver, 1.6
618-[    7.930979] virbr0: port 1(virbr0-nic) entered blocking state
619-[    7.930981] virbr0: port 1(virbr0-nic) entered disabled state

9.1.2：正规表示法的符号意义

正规表示法既然是通过一些字符来作为数据截取的判断，那么有哪些惯用的符号呢？大概有底下这些基本的符号：

另外，由于字符截取通常会有大小写、数字、特殊字符等等的差异，因此我们也能够使用如下的符号来代表某些特殊字符：

请操作者进行如下的例题来处理相关任务：

9.1.3：sed 工具的使用

• 利用 sed 进行数据的取代

sed 也是支持正规表示法的一项工具软件，具有很多很好用的功能在内！过去我们曾经使用过 ifconfig 与 awk 来找到 IP ， 现在让我们使用 sed 来处理 IP 的设置。最基础的 sed 功能为取代，如下所示：

[student@localhost ~]$ sed 's/旧字符串/新字符串/g' 文件内容

用户只要替换『新旧字符串』内容，即可处理相关的字符串修订。现在让我们来处理 IP 的截取。使用 ifconfig ens3 来输出网络数据， 之后以 grep 取出 inet 那一行 (注意： ens3 请依据你的系统网卡来调整)：

[student@localhost ~]$ ifconfig ens3 | grep 'inet[[:space:]]'
        inet 172.16.5.237  netmask 255.255.0.0  broadcast 172.16.255.255

使用 sed 取代开头到 inet 空白的项目：

[student@localhost ~]$ ifconfig ens3 | grep 'inet[[:space:]]' | \
> sed 's/^.*inet[[:space:]]//g'
172.16.5.237  netmask 255.255.0.0  broadcast 172.16.255.255

再接着取消空白netmask 之后的消息

[student@localhost ~]$ ifconfig ens3 | grep 'inet[[:space:]]' | \
> sed 's/^.*inet[[:space:]]//g' | \
> sed 's/[[:space:]]*netmask.*$//g'
172.16.5.237

• 以 sed 进行数据的输出

除了替换数据之外，sed 还可以截取出特定的关键行数，例如只想要取出 10-15 行的 /etc/passwd 内容时，可以这样做：

[student@localhost ~]$ cat -n /etc/passwd | sed -n '10,15p' 

上面这个动作在处理一些脚本化程序时，相当有帮助！而如果想要直接修改文件内容时，例如想要将 .bashrc 内的 function 改成大写时， 也可以这样做：

[student@localhost ~]$ sed 's/function/FUNCTION/g' .bashrc
.......
# User specific aliases and FUNCTIONs >==这里会变大写

[student@localhost ~]$ sed -i 's/function/FUNCTION/g' .bashrc

加上 -i 选项后，该改变直接写入文件，且不会在屏幕上输出了！因此使用上需要特别注意！

9.2：学习 shell script

shell script 对管理员来说，是一项非常好用的工具！请读者们一定要自己手动设计过一次相关的脚本程序， 而且能够针对自己管理的服务器进行一些例行工作的优化，才会更有感觉。

9.2.1：基础 shell script 的撰写与运行

shell script 的撰写其实没有很难，基本上需要注意到：

• 指令的运行是从上而下、从左而右的分析与运行 (这点跟传统编程语言差很大！)；
• 指令的下达中，指令、选项与参数间的多个空白都会被忽略掉；
• 空白行也将被忽略掉，并且 [tab] 按键所推开的空白同样视为空白键；
• 如果读取到一个 Enter 符号 (CR) ，就尝试开始运行该行 (或该串) 命令；
• 至于如果一行的内容太多，则可以使用『 \[Enter] 』来延伸至下一行；
• 『 # 』可做为注解！任何加在 # 后面的数据将全部被视为注解文本而被忽略！

至于 shell script 的运行，例如有名为 /home/student/shell.sh 的 script 时，可以用底下的方法：

• 直接指令下达： shell.sh 文件必须要具备可读与可运行 (rx) 的权限，然后：
  • 绝对路径：使用 /home/student/shell.sh 来下达指令；
  • 相对路径：假设工作目录在 /home/student/ ，则使用 ./shell.sh 来运行
  • 变量『PATH』功能：将 shell.sh 放在 PATH 指定的目录内，例如： ~/bin/
• 以 bash 程序来运行：通过『 bash shell.sh 』或『 sh shell.sh 』来运行

底下我们将使用 student 的身份，并在 ~/bin 底下创建多个 shell script 来作为练习。首先，如果操作者运行 myid.sh 时， 系统会输出这个帐号的 id 指令输出消息，并且输出用户的家目录 (${HOME})、以及历史命令纪录笔数 (${HISTSIZE})， 最后列出所有的命令别名 (alias) 时，我们可以这样做：

1. 请先声明使用的 script 为 bash ；
2. 请先说明程序的功能 (需要用 # 注解)
3. 请先说明程序的撰写者 (需要用 # 注解)
4. 秀出『 This script will show your account messages 』
5. 秀出『 The 'id' command output is: 』
6. 秀出 id 这个指令的结果
7. 秀出『 your user's home is: ${HOME} 』的结果
8. 秀出『 your history record: ${HISTSIZE} 』的结果
9. 秀出『 your command aliases: 』
10. 显示出 alias 的结果
11. 显示出家目录的文件名结果

上述的结果一项一项撰写成为 myid.sh 的内容如下：

[student@localhost ~]$ mkdir bin
[student@localhost ~]$ cd bin
[student@localhost bin]$ vim myid.sh
#!/bin/bash
# This script will use id, echo to show account's messages
# write by VBird 2016/04/27
echo "This script will show your accout messages."
echo "The 'id' command output is: "
id
echo "your user's home is: ${HOME}"
echo "your history record: ${HISTSIZE}"
echo "your command aliases: "
alias
echo "your home dir's filenames: "
ll ~

9.2.2：shell script 的运行环境

之前曾经谈过进程的观察，且进程之间是有相依性的，因此可以使用 pstree 来观察进程的相依行为。 那么使用 shell script 时，他与当前的 shell 有无关系呢？底下举例来瞧瞧。如果你有一个如下的脚本， 该如何进入到该目录去？

[student@localhost ~]$ cd ~/bin
[student@localhost bin]$ vim gototmp.sh
#!/bin/bash
# this shell script will take you togo /tmp directory.
# VBird 2016/05/02
cd /tmp
pwd
[student@localhost bin]$ chmod a+x gototmp.sh

• 使用 source 或 . 来运行脚本

事实上，运行脚本有基本的两种方式：

• 直接产生一个新的进程 (process) 来运行，例如 bash script.sh、 ./script.sh 都属于这一种；
• 将 script.sh 的指令，调用进来目前的这个 bash process 运行，而不是产生一个新的 process

上述的第二种就是通过 source 或 . 来处理的。现在，请使用『 source ~/bin/gototmp.sh 』指令， 再次查阅一下你的工作目录是否正确的进入到 /tmp 了？

[student@localhost bin]$ source gototmp.sh
/tmp
[student@localhost tmp]$ pwd
/tmp

9.2.3：以对谈式脚本及外带参数计算 pi

在第二堂课我们曾经使用过 bc 来计算数学的 pi，亦即使用『echo "scale=10; 4*a(1)" | bc -lq』来计算 pi。 而如果需要输出更正确的 pi 值，可以将 scale 的参数放大，例如『echo "scale=20; 4*a(1)" | bc -lq』来计算。 我们是否能够使用一个变量，让该变量带入脚本后，让用户可以与系统对谈呢？这时有两种基本的方法可以达到这个目的：

• 以 read 作为对谈式脚本的设计依据
• 以 ${1} 等作为外带参数的设计依据

• 使用 read 让用户输入参数：

读者可以先理解 read 的用法：

[student@localhost ~]$ read -p 'Input your name: ' name1
Input your name: VBird Tsai

[student@localhost ~]$ echo ${name1}
VBird Tsai

亦即 read 会将用户输入的数据变成变量内容，之后就可以轻易的进行变量设置的任务。因此，若需要让用户与程序交互来输入 pi 的计算精确度， 可以写下如下的脚本：

[student@localhost ~]$ vim ~/bin/mypi.sh
#!/bin/bash
# Program:
#	User input a scale number to calculate pi number.
# History:
# 2015/07/16	VBird	First release
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin
export PATH
echo -e "This program will calculate pi value. \n"
echo -e "You should input a float number to calculate pi value.\n"
read -p "The scale number (10~10000) ? " num
echo -e "Starting calculate pi value.  Be patient."
time echo "scale=${num}; 4*a(1)" | bc -lq

[student@localhost ~]$ chmod a+x ~/bin/mypi.sh
[student@localhost ~]$ mypi.sh
This program will calculate pi value.

You should input a float number to calculate pi value.

The scale number (10~10000) ? 50
Starting calculate pi value.  Be patient.
3.14159265358979323846264338327950288419716939937508

real    0m0.001s
user    0m0.000s
sys     0m0.002s

此时，只要用户运行 mypi.sh ，就可以手动输入 10 到 10000 之间不等的数值，让系统直接进行运算工作！此外你得要注意， 在 echo 显示信息时，可以使用 \t, \n 等方法来处理断行、[tab] 按钮的样式～只是需要加上 -e 的选项才行！你可以『 man echo 』查找可用的变量！

• 通过外带参数的功能运行：

在第 8 堂课的课程内容曾经短暂介绍过 shell 内有个名为 ${1} 的变量，即是 shell script 的外带参数。事实上，外带参数可以有多个， 相关的『数字变量』有底下的相关性：

/path/to/scriptname  opt1  opt2  opt3  opt4 
       $0             $1    $2    $3    $4

运行的脚本文件名为 ${0} 这个变量，第一个接的参数就是 ${1}。所以，只要在 script 里面善用 ${1} ，就可以很简单的立即下达某些指令功能了！ 除了这些数字的变量之外，尚有底下这些常见的变量可以在 shell script 内调用：

• $# ：代表后接的参数『个数』，以上表为例这里显示为『 4 』；
• "$@" ：代表『 "$1" "$2" "$3" "$4" 』之意，每个变量是独立的(用双引号括起来)；
• "$*" ：代表『 "$1c$2c$3c$4" 』，其中 c 为分隔字符，缺省为空白键， 所以本例中代表『 "$1 $2 $3 $4" 』之意。

在某些时刻，运行脚本可能是在背景中，因此不可能跟用户交互 (记得 jobs, fg, bg 的情况下)，此时就能够通过这种外带参数的方式来运行。 例如我们将 mypi.sh 修改成外带参数的 mypi2.sh ，读者可以这样尝试：

[student@localhost ~]$ cp ~/bin/mypi.sh ~/bin/mypi2.sh
[student@localhost ~]$ vim ~/bin/mypi2.sh
#!/bin/bash
# Program:
#	User input a scale number to calculate pi number.
# History:
# 2015/07/16	VBird	First release
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin
export PATH
num=${1}
echo -e "This program will calculate pi value. \n"
#read -p "The scale number (10~10000) ? " num
echo -e "Starting calculate pi value.  Be patient."
time echo "scale=${num}; 4*a(1)" | bc -lq

[student@localhost ~]$ chmod a+x ~/bin/mypi2.sh
[student@localhost ~]$ mypi2.sh 50
This program will calculate pi value.

Starting calculate pi value.  Be patient.
3.14159265358979323846264338327950288419716939937508

real    0m0.001s
user    0m0.000s
sys     0m0.002s

读者可以发现，mypi2.sh 将 mypi.sh 内的两行输出 (说明程序功能与 read 的功能) 取消，而在不修改其他代码的情况下， 让 num=${1} 来让精确度使用第一个外带参数的方式来处理。

9.2.4：通过 if .. then 设计条件判断

读者可以思考 mypi.sh 这个脚本的运作，虽然指定用户应该要输入 10~10000 的数值，但是却没有在脚本中进行防呆， 因此，当用户输入 (1)非为数值的字符串及 (2)输入超过数值范围时，就可能发生程序误判的情况，如下：

[student@localhost ~]$ mypi.sh
This program will calculate pi value.

You should input a float number to calculate pi value.

The scale number (10~10000) ? whoami
Starting calculate pi value.  Be patient.
0

real    0m0.001s
user    0m0.001s
sys     0m0.001s

[student@localhost ~]$ mypi.sh
This program will calculate pi value.

You should input a float number to calculate pi value.

The scale number (10~10000) ?  <==这里直接按下 enter 就好
Starting calculate pi value.  Be patient.
(standard_in) 1: syntax error

real    0m0.001s
user    0m0.000s
sys     0m0.002s

此时就会发生不可预期的错误。读者在设计程序脚本时，应该就用户可能会输入的字符或通常的运作方式进行分析， 先设计好防呆，在代码的运作上比较不容易出问题。想要达成这种防呆的机制，需要用到条件判断式的支持，一般 shell script 条件判断的语法为：

if [ 条件判断式 ]; then
	当条件判断式成立时，可以进行的指令工作内容；
fi   <==将 if 反过来写，就成为 fi 啦！结束 if 之意！

相关条件设置的方式已经在第八堂课谈过，请自行前往参阅。若有多重条件判断，则使用下列方式：

# 一个条件判断，分成功进行与失败进行 (else)
if [ 条件判断式 ]; then
	当条件判断式成立时，可以进行的指令工作内容；
else
	当条件判断式不成立时，可以进行的指令工作内容；
fi

如果考虑更复杂的情况，则可以使用这个语法：

# 多个条件判断 (if ... elif ... elif ... else) 分多种不同情况运行
if [ 条件判断式一 ]; then
	当条件判断式一成立时，可以进行的指令工作内容；
elif [ 条件判断式二 ]; then
	当条件判断式二成立时，可以进行的指令工作内容；
else
	当条件判断式一与二均不成立时，可以进行的指令工作内容；
fi

如果考虑两个以上的条件混合运行时，就需要使用 -a 或 -o 的协助。

# 两个条件都要成立才算成立的情况：
if [ 条件判断式一 -a 条件判断二 ]; then
	两个条件都成立，这时才运行 (and 的概念)
fi

# 两个条件中，任何一个条件成立都算 OK 的情况：
if [ 条件判断式一 -o 条件判断二 ]; then
	随便哪一个条件成立，都可以运行 (or 的概念)
fi

以上面的语法来补足 mypi.sh 的防呆，大致防呆的思考可以是：

1. 用户输入的数据非为数值的状态：
   • 不可以是空白也不可以有非数字的字符存在
   • 若有上述状况，则数值改为缺省的 20
2. 用户输入的数据不在规范的范围内：
   • 若小于 10 则以 10 取代；
   • 若大于 10000 则以 10000 取代；

大致的防呆流程就像上面所叙述，接下来读者们可以使用语法来将这些流程加入 mypi.sh：

[student@localhost ~]$ vim ~/bin/mypi.sh
#!/bin/bash
# Program:
#	User input a scale number to calculate pi number.
# History:
# 2015/07/16	VBird	First release
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin
export PATH
echo -e "This program will calculate pi value. \n"
echo -e "You should input a float number to calculate pi value.\n"
read -p "The scale number (10~10000) ? " num

# 判断是否有非为数字的字符，若有，则会出现，若无则是空白
checking=$( echo ${num} | grep '[^0-9]' )
if [ "${num}" == "" -o "${checking}" != "" ]; then
        num=20
fi

if [ "${num}" -le 10 ]; then
        num=10
elif [ "${num}" -ge 10000 ]; then
        num=10000
fi
echo "Use scale number: ${num}"

echo -e "Starting calculate pi value.  Be patient."
time echo "scale=${num}; 4*a(1)" | bc -lq

接下来请运行数次 mypi.sh ，并分别输入不同的数据 (Enter, 文本, 小于 10 的数字, 大于 10000 的数字等等)， 以确认自己的处理方式应为可行。

9.2.5：以 case .. esac 设计条件判断

若读者只想让 mypi.sh 的操作者体验一下 pi 的计算，因此只想给予 20, 100, 1000 三个数值， 当用户不是输入此类数值，则告知对方仅能输入这三个数值。若以 if ... then 的方式来说，需要填写的判断式稍嫌多了些。 此时可以使用 case ... esac 来做设计。

case  $变量名称 in   <==关键字为 case ，还有变量前有钱字号
  "第一个变量内容")   <==每个变量内容建议用双引号括起来，关键字则为小括号 )
	程序段
	;;            <==每个类别结尾使用两个连续的分号来处理！
  "第二个变量内容")
	程序段
	;;
  *)                  <==最后一个变量内容都会用 * 来代表所有其他值
	不包含第一个变量内容与第二个变量内容的其他程序运行段
	exit 1
	;;
esac                  <==最终的 case 结尾！『反过来写』思考一下！

请使用上述的语法，搭配仅能输入 20, 100, 1000 三个数值来撰写 mypi3.sh 脚本：

[student@localhost ~]$ cp ~/bin/mypi.sh ~/bin/mypi3.sh
[student@localhost ~]$ vim ~/bin/mypi3.sh
#!/bin/bash
# Program:
#       User input a scale number to calculate pi number.
# History:
# 2015/07/16    VBird   First release
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin
export PATH
echo -e "This program will calculate pi value. \n"
echo -e "You should input a float number to calculate pi value.\n"
read -p "The scale number (20,100,1000) ? " num

case ${num} in
"20")
        echo "Your input is 20"
        ;;
"100")
        echo "Your input is 100"
        ;;
"1000")
        echo "Your input is 1000"
        ;;
*)
        echo "You MUST input 20|100|1000"
        echo "I stop here"
        exit 0
        ;;
esac

echo -e "Starting calculate pi value.  Be patient."
time echo "scale=${num}; 4*a(1)" | bc -lq

[student@localhost ~]$ chmod a+x ~/bin/mypi3.sh
[student@localhost ~]$ mypi3.sh
This program will calculate pi value.

You should input a float number to calculate pi value.

The scale number (20,100,1000) ? 30
You MUST input 20|100|1000
I stop here

[student@localhost ~]$ mypi3.sh
This program will calculate pi value.

You should input a float number to calculate pi value.

The scale number (20,100,1000) ? 100
Your input is 100
Starting calculate pi value.  Be patient.
3.141592653589793238462643383279502884197169399375105820974944592307\
8164062862089986280348253421170676

real    0m0.003s
user    0m0.003s
sys     0m0.000s

这样就可以缩减用户输入的参数了！