标签：字符 匹配 正则表达式 基础 awk Linux test grep
文章目录
1 介绍
内容
- 正则表达式本身的内容很多，这一节实验只介绍 grep，sed，awk 这三个命令。
知识点
- 掌握基本命令：sed，grep，awk 的用法
- 掌握正则表达式符号和语法
2 正则表达式
什么是正则表达式呢？
正则表达式，又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法（英语：Regular Expression，在代码中常简写为 regex、regexp 或 RE），计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编辑器里，正则表达式通常被用来检索、替换那些符合某个模式的文本。
简单的说形式和功能上正则表达式和我们前面讲的通配符很像，不过它们之间又有很大差别，特别在于一些特殊的匹配字符的含义上。
2.1 举例
假设我们有这样一个文本文件，包含"shiyanlou"，和"shilouyan"这两个字符串，同样一个表达式：
shi*
如果这作为一个正则表达式，它将只能匹配 shi，而如果 * 作为一个通配符，则将同时匹配这两个字符串。这是为什么呢？因为在正则表达式中 * 表示匹配前面的子表达式（这里就是它前面一个字符）零次或多次，比如它可以匹配"sh",“shii”,“shish”,“shiishi"等等，而作为通配符表示匹配通配符后面任意多个任意字符，所以它可以匹配"shiyanlou”，和"shilouyan"两个字符。
体验完了，下面就来开始正式学习正则表达式吧。
2.2 基本语法
一个正则表达式通常被称为一个模式（pattern），为用来描述或者匹配一系列符合某个句法规则的字符串。
选择
| 竖直分隔符表示选择，例如"boy|girl"可以匹配"boy"或者"girl"
数量限定
数量限定除了我们举例用的 *，还有 + 加号，? 问号，如果在一个模式中不加数量限定符则表示出现一次且仅出现一次：
- + 表示前面的字符必须出现至少一次(1 次或多次)，例如，“goo+gle”,可以匹配"gooogle","goooogle"等；
- ? 表示前面的字符最多出现一次(0 次或 1 次)，例如，“colou?r”,可以匹配"color"或者"colour";
- * 星号代表前面的字符可以不出现，也可以出现一次或者多次（0 次、或 1 次、或多次），例如，“0*42”可以匹配 42、042、0042、00042 等。
范围和优先级
() 圆括号可以用来定义模式字符串的范围和优先级，这可以简单的理解为是否将括号内的模式串作为一个整体。例如，“gr(a|e)y"等价于"gray|grey”，（这里体现了优先级，竖直分隔符用于选择 a 或者 e），"(grand)?father"匹配 father 和 grandfather（这里体现了范围，? 将圆括号内容作为一个整体匹配）。
语法（部分）
正则表达式有多种不同的风格，下面列举一些常用的作为 PCRE 子集的适用于perl 和 python 编程语言及 grep 或 egrep 的正则表达式匹配规则：
PCRE（Perl Compatible Regular Expressions 中文含义：perl 语言兼容正则表达式）是一个用 C 语言编写的正则表达式函数库，由菲利普.海泽(Philip Hazel)编写。PCRE 是一个轻量级的函数库，比 Boost 之类的正则表达式库小得多。PCRE 十分易用，同时功能也很强大，性能超过了 POSIX 正则表达式库和一些经典的正则表达式库。
| 字符 | 描述 |
|---|---|
| \ | 将下一个字符标记为一个特殊字符、或一个原义字符。例如，“n”匹配字符“n”。“\n”匹配一个换行符。序列“\\”匹配“\”而“\(”则匹配“(”。 |
| ^ | 匹配输入字符串的开始位置。 |
| $ | 匹配输入字符串的结束位置。 |
| {n} | n 是一个非负整数。匹配确定的 n 次。例如，“o{2}”不能匹配“Bob”中的“o”，但是能匹配“food”中的两个 o。 |
| {n,} | n 是一个非负整数。至少匹配 n 次。例如，“o{2,}”不能匹配“Bob”中的“o”，但能匹配“foooood”中的所有 o。“o{1,}”等价于“o+”。“o{0,}”则等价于“o*”。 |
| {n,m} | m 和 n 均为非负整数，其中 n<=m。最少匹配 n 次且最多匹配 m 次。例如，“o{1,3}”将匹配“fooooood”中的前三个 o。“o{0,1}”等价于“o?”。请注意在逗号和两个数之间不能有空格。 |
| * | 匹配前面的子表达式零次或多次。例如，zo*能匹配“z”、“zo”以及“zoo”。*等价于{0,}。 |
| + | 匹配前面的子表达式一次或多次。例如，“zo+”能匹配“zo”以及“zoo”，但不能匹配“z”。+等价于{1,}。 |
| ? | 匹配前面的子表达式零次或一次。例如，“do(es)?”可以匹配“do”或“does”中的“do”。?等价于{0,1}。 |
| ? | 当该字符紧跟在任何一个其他限制符（*,+,?，{n}，{n,}，{n,m}）后面时，匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串，而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如，对于字符串“oooo”，“o+?”将匹配单个“o”，而“o+”将匹配所有“o”。 |
| . | 匹配除“\n”之外的任何单个字符。要匹配包括“\n”在内的任何字符，请使用像“(.｜\n)”的模式。 |
| (pattern) | 匹配 pattern 并获取这一匹配的子字符串。该子字符串用于向后引用。要匹配圆括号字符，请使用 “\(”，右括号同样。 |
| x ｜ y | 匹配 x 或 y。例如，“z ｜ food” 能匹配 “z” 或 “food”。“(z ｜ f)ood”则匹配“zood”或“food”。 |
| [xyz] | 字符集合（character class）。匹配所包含的任意一个字符。例如，“[abc]”可以匹配“plain”中的“a”。其中特殊字符仅有反斜线\保持特殊含义，用于转义字符。其它特殊字符如星号、加号、各种括号等均作为普通字符。脱字符^如果出现在首位则表示负值字符集合；如果出现在字符串中间就仅作为普通字符。连字符 - 如果出现在字符串中间表示字符范围描述；如果出现在首位则仅作为普通字符。 |
| [^xyz] | 排除型（negate）字符集合。匹配未列出的任意字符。例如，“[^abc]”可以匹配“plain”中的“plin”。 |
| [a-z] | 字符范围。匹配指定范围内的任意字符。例如，“[a-z]”可以匹配“a”到“z”范围内的任意小写字母字符。 |
| [^a-z] | 排除型的字符范围。匹配任何不在指定范围内的任意字符。例如，“[^a-z]”可以匹配任何不在“a”到“z”范围内的任意字符。 |
优先级
优先级为从上到下从左到右，依次降低：
| 运算符 | 说明 |
|---|---|
| \ | 转义符 |
| (), (?: ), (?=), [] | 括号和中括号 |
| *、+、?、{n}、{n,}、{n,m} | 限定符 |
| ^、$、\任何元字符 | 定位点和序列 |
| ｜ | 选择 |
3 grep 模式匹配命令
上面空谈了那么多正则表达式的内容也并没有提及具体该如何使用它，实在枯燥。
3.1 基本操作
grep 命令用于打印输出文本中匹配的模式串，它使用正则表达式作为模式匹配的条件。grep 支持三种正则表达式引擎，分别用三个参数指定：
| 参数 | 说明 |
|---|---|
| -E | POSIX 扩展正则表达式，ERE |
| -G | POSIX 基本正则表达式，BRE |
| -P | Perl 正则表达式，PCRE |
下面只会使用到 ERE 和 BRE
在通过 grep 命令使用正则表达式之前，先介绍一下它的常用参数：
| 参数 | 说明 |
|---|---|
| -b | 将二进制文件作为文本来进行匹配 |
| -c | 统计以模式匹配的数目 |
| -i | 忽略大小写 |
| -n | 显示匹配文本所在行的行号 |
| -v | 反选，输出不匹配行的内容 |
| -r | 递归匹配查找 |
| -A n | n 为正整数，表示 after 的意思，除了列出匹配行之外，还列出后面的 n 行 |
| -B n | n 为正整数，表示 before 的意思，除了列出匹配行之外，还列出前面的 n 行 |
| –color=auto | 将输出中的匹配项设置为自动颜色显示 |
注：在大多数发行版中是默认设置了 grep 的颜色的，你可以通过参数指定或修改GREP_COLOR环境变量。
3.2 使用正则表达式
（1）使用基本正则表达式，BRE
- 位置
查找 /etc/group 文件中以"skx"为开头的行
# 包含skx的行
$ grep 'skx' /etc/group
# 以skx开始的行
$ grep '^skx' /etc/group
- 数量
# 将匹配以'z'开头以'o'结尾的所有字符串
$ grep 'z.*o' test
# 将匹配以'z'开头以'o'结尾，中间包含一个任意字符的字符串
$ grep 'z.o' test
# 将匹配以'z'开头,以任意多个'o'结尾的字符串
$ grep 'zo*' test
- 选择
# grep默认是区分大小写的，这里将匹配所有的小写字母
$ cat test | grep '[a-z]'
# 将匹配所有的数字
$ cat test | grep '[0-9]'
# 将匹配所有的数字
$ cat test | grep '[[:digit:]]'
# 将匹配所有的小写字母
$ cat test | grep '[[:lower:]]'
# 将匹配所有的大写字母
$ echo '1234ABCD' | grep '[[:upper:]]'
# 将匹配所有的字母和数字，包括0-9,a-z,A-Z
$ grep '[[:alnum:]]' test
# 将匹配所有的字母
$ grep '[[:alpha:]]' test
下面包含完整的特殊符号及说明：
| 特殊符号 | 说明 |
|---|---|
| [:alnum:] | 代表英文大小写字母及数字，亦即 0-9, A-Z, a-z |
| [:alpha:] | 代表任何英文大小写字母，亦即 A-Z, a-z |
| [:blank:] | 代表空白键与 [Tab] 按键两者 |
| [:cntrl:] | 代表键盘上面的控制按键，亦即包括 CR, LF, Tab, Del… 等等 |
| [:digit:] | 代表数字而已，亦即 0-9 |
| [:graph:] | 除了空白字节 (空白键与 [Tab] 按键) 外的其他所有按键 |
| [:lower:] | 代表小写字母，亦即 a-z |
| [:print:] | 代表任何可以被列印出来的字符 |
| [:punct:] | 代表标点符号 (punctuation symbol)，亦即：" ’ ? ! ; : # $… |
| [:upper:] | 代表大写字母，亦即 A-Z |
| [:space:] | 任何会产生空白的字符，包括空白键, [Tab], CR 等等 |
| [:xdigit:] | 代表 16 进位的数字类型，因此包括： 0-9, A-F, a-f 的数字与字节 |
注意：之所以要使用特殊符号，是因为上面的[a-z]不是在所有情况下都管用，这还与主机当前的语系有关，即设置在LANG环境变量的值，zh_CN.UTF-8 的话[a-z]，即为所有小写字母，其它语系可能是大小写交替的如，“a A b B…z Z”，[a-z]中就可能包含大写字母。所以在使用[a-z]时请确保当前语系的影响，使用[:lower:]则不会有这个问题。
# test 文件中排除字符 'o'
$ grep '[^o]' test
（2）使用扩展正则表达式，ERE
要通过 grep 使用扩展正则表达式需要加上-E 参数，或使用 egrep。
- 数量
# 只匹配"zo"
$ grep -E 'zo{1}' test
# 匹配以"zo"开头的所有单词
$ cat test | grep -E 'zo{1,}'
注意：推荐掌握{n,m}即可，+,?,*，这几个不太直观，且容易弄混淆。
- 选择
注意：因为 . 号有特殊含义，所以需要转义。
# 匹配"www.shiyanlou.com"和"www.google.com"
$ grep -E 'www\.(baidu|google)\.com' test
# 或者匹配不包含"baidu"的内容
$ grep -Ev 'www\.baidu\.com' test
4 sed 流编辑器
sed 工具在 man 手册里面的全名为 "sed - stream editor for filtering and transforming text "，意即，用于过滤和转换文本的流编辑器。
4.1 sed 常用参数介绍
sed 命令基本格式：
sed [参数]... [执行命令] [输入文件]...
# 形如：
$ sed -i 's/sad/happy/' test # 表示将test文件中的"sad"替换为"happy"
| 参数 | 说明 |
|---|---|
| -n | 安静模式，只打印受影响的行，默认打印输入数据的全部内容 |
| -e | 用于在脚本中添加多个执行命令一次执行，在命令行中执行多个命令通常不需要加该参数 |
| -f filename | 指定执行 filename 文件中的命令 |
| -r | 使用扩展正则表达式，默认为标准正则表达式 |
| -i | 将直接修改输入文件内容，而不是打印到标准输出设备 |
4.2 sed 编辑器的执行命令（这里”执行“解释为名词）
sed 执行命令格式：
[n1][,n2]command
[n1][~step]command
# 其中一些命令可以在后面加上作用范围，形如：
$ sed -i 's/sad/happy/g' test # g表示全局范围
$ sed -i 's/sad/happy/4' test # 4表示指定行中的第四个匹配字符串
其中 n1,n2 表示输入内容的行号，它们之间为 , 逗号则表示从 n1 到 n2 行，如果为～波浪号则表示从 n1 开始以 step 为步进的所有行；command 为执行动作，下面为一些常用动作指令：
| 命令 | 说明 |
|---|---|
| s | 行内替换 |
| c | 整行替换 |
| a | 插入到指定行的后面 |
| i | 插入到指定行的前面 |
| p | 打印指定行，通常与-n参数配合使用 |
| d | 删除指定行 |
4.3 sed 操作举例
我们先找一个用于练习的文本文件：
$ cp /etc/passwd ~
打印指定行
# 打印2-5行
$ nl passwd | sed -n '2,5p'
# 打印奇数行
$ nl passwd | sed -n '1~2p'
行内替换
# 将输入文本中"skx" 全局替换为"hehe",并只打印替换的那一行，注意这里不能省略最后的"p"命令
$ sed -n 's/skx/hehe/gp' passwd
删除某行
$ nl passwd | grep "skx"
# 删除第30行
$ sed -i '30d' passwd
5 awk 文本处理语言
看到上面的标题，你可能会感到惊异，难道我们这里要学习的是一门“语言”么，确切的说，我们是要在这里学习 awk 文本处理语言，只是我们并不会在这里学习到比较完整的关于 awk 的内容，因为它太强大了，下面就进行关于 awk 的入门体验。
5.1 awk 介绍
AWK 是一种优良的文本处理工具。它允许您创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表，还有无数其他的功能。最简单地说，AWK 是一种用于处理文本的编程语言工具。
在大多数 linux 发行版上面，实际我们使用的是 gawk（GNU awk，awk 的 GNU 版本），在我们的环境中 ubuntu 上，默认提供的是 mawk，不过我们通常可以直接使用 awk 命令（awk 语言的解释器），因为系统已经为我们创建好了 awk 指向 mawk 的符号链接。
$ ll /usr/bin/awk
5.2 awk 的一些基础概念
awk 所有的操作都是基于 pattern(模式)—action(动作)对来完成的，如下面的形式：
$ pattern {action}
你可以看到就如同很多编程语言一样，它将所有的动作操作用一对 {} 花括号包围起来。其中 pattern 通常是表示用于匹配输入的文本的“关系式”或“正则表达式”，action 则是表示匹配后将执行的动作。在一个完整 awk 操作中，这两者可以只有其中一个，如果没有 pattern 则默认匹配输入的全部文本，如果没有 action 则默认为打印匹配内容到屏幕。
awk 处理文本的方式，是将文本分割成一些“字段”，然后再对这些字段进行处理，默认情况下，awk 以空格作为一个字段的分割符，不过这不是固定的，你可以任意指定分隔符，下面将告诉你如何做到这一点。
5.3 awk 命令基本格式
awk [-F fs] [-v var=value] [-f prog-file | 'program text'] [file...]
其中 -F 参数用于预先指定前面提到的字段分隔符（还有其他指定字段的方式） ，-v 用于预先为 awk 程序指定变量，-f 参数用于指定 awk 命令要执行的程序文件，或者在不加 -f 参数的情况下直接将程序语句放在这里，最后为 awk 需要处理的文本输入，且可以同时输入多个文本文件。现在我们还是直接来具体体验一下吧。
5.4 awk 操作体验
先用 vim 新建一个文本文档 test，包含一下内容
I like linux
www.baidu.com
- 使用 awk 将文本内容打印到终端
# "quote>" 不用输入
$ awk '{
> print
> }' test
# 或者写到一行
$ awk '{print}' test
说明：在这个操作中省略了 pattern，所以 awk 会默认匹配输入文本的全部内容，然后在"{}"花括号中执行动作，即 print 打印所有匹配项，这里是全部文本内容
- 将 test 的第一行的每个字段单独显示为一行
$ awk '{
> if(NR==1){
> print $1 "\n" $2 "\n" $3
> } else {
> print}
> }' test
# 或者
$ awk '{
> if(NR==1){
> OFS="\n"
> print $1, $2, $3
> } else {
> print}
> }' test
说明：里我使用了 awk 语言的分支选择语句 if，它的使用和很多高级语言如C/C++语言基本一致。NR 与 OFS 这两个是 awk 内建的变量，NR 表示当前读入的记录数，可以简单的理解为当前处理的行数，OFS 表示输出时的字段分隔符，默认为" "空格，如上图所见，我们将字段分隔符设置为 \n 换行符，所以第一行原本以空格为字段分隔的内容就分别输出到单独一行了。然后是 $N 其中 N 为相应的字段号，这也是 awk 的内建变量，它表示引用相应的字段，因为我们这里第一行只有三个字段，所以只引用到了 $3。除此之外另一个这里没有出现的 $0，它表示引用当前记录（当前行）的全部内容。
- 将 test 的第二行的以点为分段的字段换成以空格为分隔
$ awk -F'.' '{
> if(NR==2){
> print $1 "\t" $2 "\t" $3
> }}' test
# 或者
$ awk '
> BEGIN{
> FS="."
> OFS="\t" # 如果写为一行，两个动作语句之间应该以";"号分开
> }{
> if(NR==2){
> print $1, $2, $3
> }}' test
说明：这里的 -F 参数，前面已经介绍过，它是用来预先指定待处理记录的字段分隔符。我们需要注意的是除了指定 OFS 我们还可以在 print 语句中直接打印特殊符号如这里的 \t，print 打印的非变量内容都需要用""一对引号包围起来。上面另一个版本，展示了实现预先指定变量分隔符的另一种方式，即使用 BEGIN，就这个表达式指示了，其后的动作将在所有动作之前执行，这里是 FS 赋值了新的".“点号代替默认的” "空格。
5.5 awk 常用的内置变量
| 变量名 | 说明 |
|---|---|
| FILENAME | 当前输入文件名，若有多个文件，则只表示第一个。如果输入是来自标准输入，则为空字符串 |
| $0 | 当前记录的内容 |
| $N | N 表示字段号，最大值为 NF 变量的值 |
| FS | 字段分隔符，由正则表达式表示，默认为" "空格 |
| RS | 输入记录分隔符，默认为"\n"，即一行为一个记录 |
| NF | 当前记录字段数 |
| NR | 已经读入的记录数 |
| FNR | 当前输入文件的记录数，请注意它与 NR 的区别 |
| OFS | 输出字段分隔符，默认为" "空格 |
| ORS | 输出记录分隔符，默认为"\n" |
标签：字符,匹配,正则表达式,基础,awk,Linux,test,grep 来源： https://blog.csdn.net/happyjacob/article/details/107008113
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。