首页 > 其他分享> 文章详细

awk三剑客

2021-09-02 08:31:06 阅读：168 来源： 互联网

标签：kang sed awk print 250 txt 三剑客

sed：字符流的编辑工具（行编辑工具）==按照每行中的字符进行处理操作

sed 命令作用说明：

1).擅长对行进行操作处理

2).擅长将文件的内容信息进行修改调整/删除

编写脚本：修改文件内容信息时

a sed命令查询信息方法

根据文件内容的行号进行查询

test1：显示单行信息

# sed -n '2p' kang.txt

test2:根据行号信息，输出多行内容（连续）

# sed -n '1,3p' kang.txt

test3:根据内容信息，输出多行内容（不连续）

# sed -n '1p;3p' kang.txt

根据文件内容的信息进行查询

test1：根据内容信息，输出单行内容

# 将有kang 行的信息，输出单行内容

# sed -n '/kang/p' kang.txt

test2: 根据内容信息，输出多行内容（连续）

# 将有kang到he行的信息都输出出来

# sed -n '/kang/,/he/p' kang.txt

b sed命令添加信息方法

在文件第一行添加信息

kang2021

# sed '1ikang2021' kang.txt

在文件的最后一行添加信息

kang2022

# sed  '7akang2021' kang.txt
# sed '$akang,520' kang.txt

cat -n kang.txt 显示具体内容行号

总结： sed 命令的指令信息

p print	输出信息

i  insert	插入信息，在指定信息前面插入新的信息

a append 附加信息，在指定信息后面附加新的信息
d delete 删除指定信息
s substitute 代替     g 全局

test：在有hehao 的行前面添加youxiu；在zhidaobu后面添加wohenbang

# sed -e '/hehao/iyouxiu' -e '/zhidaobu/awohenbang' kang.txt

# 添加多行信息# sed '$a100\n101' kang.txt

总结： sed命令的参数信息

-n	取消默认输出-r	识别扩展正则-i	真实编辑文件（将内存中的信息覆盖到磁盘中）-e	识别sed命令多个操作指令

文件中添加内容的方法：

1. vim/vi2. cat >>xxx<EOF  .. EOF3. echo -e "xxx\nxxx" 4. sed 'na/ixxx\nxxx'

c sed命令删除信息方法

删除单行信息
```
# sed ‘2d’ kang.txt 
```

删除多行信息

# sed '2,4d' kang.txt （2-4）# sed '3d;6d' kang.txt （3和6）

删除有kang520信息的行
```
# sed '/kang520/d' kang.txt
```
取消空行显示
```
# sed '/^$/d' kang.txt
```

d sed命令修改信息方法

# sed 's#原内容#修改后内容#g' kang.txt

# sed  's#()#\n#g' 文件信息 后项引用前项

提取ip地址的方法

# ip a s ens33|sed -rn '3s#^.*t (.*)/24.*#\1#gp'

修改文件内容直接进行自动备份

# sed -i .bak 's#kang520#kang2020#g' kang.txt

批量修改文件的扩展名，将kangxxx.txt 扩展名修改为kang.bak

# ls kang*.txt|sed -r 's#(.*)txt#mv & \1bak#g'

专业命令：rename

rename .txt .bak kang*.txt

awk 擅长对列进行操作/进行数据信息的统计（数组）

作用特点：

排除信息
查询信息
统计信息
替换信息

语法格式：

awk [参数] '模式-动作' 文件

[root@ansible ~]# cat awk.txtZhang   Dandan  2733885168      :250:100:175Zhang   Xiaoyu  390320151       :155:90:201Meng    Feixue  80042789        :250:60:50Wu      Waiwai  70271111        :250:80:75Liu     Bing    4117483         :250:100:175Wang    Xiaoai  3515064655      :50:95:135Zi      Gege    1986787350      :250:168:200Lao     Nanhai  918391635       :250:100:300

命令查询信息方法：

按照行号查询信息：

# 单行# awk 'NR==2' awk.txt	Zhang   Xiaoyu  390320151       :155:90:201# 多行# awk 'NR==2,NR==4' awk.txtZhang   Xiaoyu  390320151       :155:90:201Meng    Feixue  80042789        :250:60:50Wu      Waiwai  70271111        :250:80:75# 多行（不连续）# awk 'NR==2;NR==4' awk.txtZhang   Xiaoyu  390320151       :155:90:201Wu      Waiwai  70271111        :250:80:75

按照字符查询

# awk 'Xiaoyu' awk.txt# awk '/Xiaoyu/' awk.txtZhang   Xiaoyu  390320151       :155:90:201# awk '/Xiaoyu/,/Waiwai/' awk.txtZhang   Xiaoyu  390320151       :155:90:201Meng    Feixue  80042789        :250:60:50Wu      Waiwai  70271111        :250:80:75# awk '/Xiaoyu/;/Waiwai/' awk.txtZhang   Xiaoyu  390320151       :155:90:201Wu      Waiwai  70271111        :250:80:75

指定列

# awk '/Xiaoyu/{print $1,$3}' awk.txtZhang 390320151# awk '/Xiaoyu/{print $1","$3}' awk.txtZhang,390320151

# awk '/Zhang/{print $NF}' awk.txt:250:100:175:155:90:201

-F 指定分隔符

awk '/Zhang/{print $NF}' awk.txt| awk -F ":" '{print $3}'10090# awk -F ":" '/Zhang/{print $3}' awk.txt10090

# awk -F "[ :]+" '/Zhang/{print $5}' awk.txt10090# awk -F "[ :]+" '/Zhang/{print $(NF-1)}' awk.txt10090

显示所有以41开头的ID号码的人的全名和ID号码

# awk '$3~/^41/{print $1,$2,$3}' awk.txtLiu Bing 4117483Lao Nanhai 418391635

显示所有ID号码最后一位数字是1或5的人的全名

1）# awk '$3~/[15]$/{print $1,$2}' awk.txtZhang XiaoyuWu WaiwaiWang XiaoaiLao Nanhai2）# awk '$3~/1$|5$/{print $1,$2}' awk.txtZhang XiaoyuWu WaiwaiWang XiaoaiLao Nanhai3）[root@ansible ~]# awk '$3~/(1|5)$/{print $1,$2}' awk.txt | column -tZhang  XiaoyuWu     WaiwaiWang   XiaoaiLao    Nanhai

gsub (/需要替换的信息/,"修改成什么信息"，将哪列信息进行修改)

# awk '$2~/Xiaoyu/{gsub(/:/,"$",$NF);print$NF}' awk.txt$155$90$201

文件中的空行进行排除/文件中注释信息进行排除

# grep -Ev "^#|^$" 文件信息# sed -n '/^#|^$/!p' 文件信息# awk '/^#|^$/' awk.txt#

总结： awk命令中$符号的用法

$1 $2 $3 : 取第几列

$NF : 取最后一列信息

$(NF-n) ：取倒数第几列

$0 : 取所有列的信息

awk高级功能说明

	a. 对日志信息进行统计（技术）	b. 对日志信息数值进行求和	客户端-下载  服务端-上传    （消耗网络流量）	c. (数组)进行排序分析	d. 脚本编写（循环语句 判断语句）

awk模式说明：匹配的条件信息

普通模式

正则表达式作为模式
```
# awk '/^oldboy/{print xx}'
```
利用比较匹配信息
```
NR==2NR>=2NR<=2NR==3,NR==10 (范围)
```

特殊模式

BEGIN{}

# awk 'BEGIN{print "姓","名","捐款记录"}{print $0}' awk.txt | column -t姓     名      捐款记录Zhang  Dandan  2733885168  :250:100:175Zhang  Xiaoyu  390320151   :155:90:201Meng   Feixue  80042789    :250:60:50Wu     Waiwai  70271111    :250:80:75#Liu    Bing    4117483     :250:100:175Wang   Xiaoai  3515064655  :50:95:135Zi     Gege    1986787350  :250:168:200Lao    Nanhai  418391635   :250:100:300

END{}

# awk 'BEGIN{print "姓","名","捐款记录"}{print $0}END{print "操作结束"}' awk.txt | column -t姓        名      捐款记录Zhang     Dandan  2733885168  :250:100:175Zhang     Xiaoyu  390320151   :155:90:201Meng      Feixue  80042789    :250:60:50Wu        Waiwai  70271111    :250:80:75#Liu       Bing    4117483     :250:100:175Wang      Xiaoai  3515064655  :50:95:135Zi        Gege    1986787350  :250:168:200Lao       Nanhai  418391635   :250:100:300操作结束

# awk -vFS=":" '{print $2}' awk.txt25015525025025050250250

# awk '/^$/{i=i+1;print i}' awk.txt12# awk '/^$/{i=i+1}END{print i}' awk.txt2

统计系统中有多少个虚拟用户普通用户

标签：kang,sed,awk,print,250,txt,三剑客
来源： https://www.cnblogs.com/hekang520/p/15217157.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9