awk工具详解

发布时间 - 2025-07-21 00:00:00    点击率:

大家好,欢迎再次光临,我是你们的老朋友全栈君。

目录

awk简介

awk的工作原理

awk命令的使用格式

awk简介

AWK是一种专门用于处理文本文件的编程语言,是一个功能强大的文本分析工具。它旨在进行文本处理工作,通常用于扫描、过滤和统计汇总数据,这些数据可以来自标准输入、管道或文件。

awk的工作原理(1):

在读取第一行时,AWK会根据条件进行匹配,并执行相应的操作,然后继续处理下一行数据。默认情况下,不会自动输出数据。如果没有指定匹配条件,AWK会默认匹配所有行。它有一个隐含的循环,条件匹配的次数就是操作执行的次数。

awk的工作原理(2):

AWK逐行读取文本文件,默认以空格或制表符作为分隔符,将每一行分成多个字段,并将这些字段存储在内建变量中,根据模式或条件执行编辑命令。sed命令常用于处理整行,而AWK更倾向于将一行分割成多个“字段”后进行处理。AWK读取信息也是逐行进行的,处理结果可以通过print功能将字段数据显示出来。在使用AWK命令时,可以使用逻辑操作符“&&”表示“与”,“||”表示“或”,“!”表示“非”;还可以进行简单的数学运算,如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

awk命令的使用格式

awk选项 ‘模式或条件{操作}’ 文件1 文件2 ...

awk -f 脚本文件 文件1 文件2 ...

格式: awk关键字 选项 命令部分 '{xxxx}' 文件名

AWK包含几个特殊的内建变量(可以直接使用),如下所示:

FS:指定每行文本的字段分隔符,默认为空格或制表符。

NF:当前处理行的字段数量。

NR:当前处理行的行号。

$0:当前处理行的整行内容。

$n:当前处理行的第n个字段(第n列)。

FILENAME:被处理的文件名。

RS:行分隔符。AWK从文件读取数据时,会根据RS的定义将数据分割成多条记录,而AWK一次仅读入一条记录进行处理。默认值是'\n'。

简说:数据记录分隔,默认为\n,即每行为一条记录。

案例

AWK常用的内置变量包括:$1、$2、NF、NR、

$1:代表第一列,$2:代表第二列,以此类推。

$0:代表整行,NF:一行的列数。

NR:行数。

案例:

awk -F: 'NR==10{print $1}' zz ##打印第10行第一列

awk -F : '{print $NF}' zz ##打印最后一列

awk 'END{print NR}' zz ##打印总行数

awk 'END{print $0}' zz ##打印最后一整行内容

生产案例:

在逐行执行之前和之后执行特定任务,可以使用BEGIN和END关键字。

BEGIN通常用于初始化操作,只在读取数据记录之前执行一次;END通常用于汇总操作,只在读取完数据记录之后执行一次。

AWK的运算:

模糊匹配,用~表示包含,!~表示不包含。

awk -F: '$1~/root/' zz ##包含root的所有行

awk -F: '$7!~/nologin/{print $1,$7}' zz ##打印除了以nologin结尾的第一列和第七列

关于数值与字符串的比较

比较符号:== != >

案例:

awk -F: '$3==0' zz ##打印第三列等于0的行

awk 'NR==5{print}' zz ##打印第五行

awk 'NR

awk -F: '$1=="root"' zz ##打印第一列有root的行

awk -F: '$3>=1000' /etc/passwd ##打印第三列大于等于1000的行

awk -F: '$3=1000' /etc/passwd ##打印第三列小于10或者大于等于1000的所有行

awk -F: '$3>10 && $3

awk 'NR>2 && NR

seq 200 | awk '$1%7==0 && $1~/7/' ##打印200内被7整除并且包含7的所有数字

其他内置变量的用法FS、OFS、NR、FNR、RS、ORS

案例:

awk 'BEGIN{FS=":"}{print $1}' zz ##打印之前定义字段分隔符为冒号

awk 'BEGIN{FS=":";OFS="--"} {print $1,$2}' zz ##OFS定义了输出时以什么分隔,$1和$2中间要用逗号分隔,因为逗号默认被映射为OFS变量,而这个变量默认是空格

awk '{print FNR,$0}' /etc/hosts /etc/passwd ##可以看出FNR的行号在追加当有多个文件时

awk 'BEGIN{RS=":"}{print $0}' zz ##打印出以冒号换行输出

awk 'BEGIN{ORS=" "}{print $0}' zz ##把多行合并成一行输出,输出的时候自定义以空格分隔每行,本来默认的是回车键

AWK的高级用法

定义引用变量

a=100

awk -v b="$a" 'BEGIN{print b}' ##将系统的变量a,在AWK里赋值为变量b,然后调用变量b

awk 'BEGIN{print "'$a'"}' ##直接调用的话需要先用双引号再用单引号

awk -v c=50 'BEGIN{print c}' ##AWK直接定义变量引用

调用函数getline,读取一行数据的时候并不是得到当前行而是当前行下一行

案例:

df -h | awk 'BEGIN{getline}/dev\/sda3/{print $0}'

[root@localhost ky17]# seq 12 | awk '{getline;print $0}' 24681012[root@localhost ky17]# seq 12 | awk '{print $0;getline}' 1357911

if语句:AWK的if语句也分为单分支、双分支和多分支

单分支为if() {}

双分支为if() {} else {}

多分支为if() {} else if() {} else {}

案例:

AWK还支持for循环、while循环、函数、数组等

案例:

awk 'BEGIN{x=0};/\/bin\/bash$/ {x++;print x,$0};END {print x}' /etc/passwd

统计以/bin/bash结尾的行数,等同于

grep -c "/bin/bash$" /etc/passwdBEGIN模式表示,在处理指定的文本之前,需要先执行BEGIN模式中指定的动作;AWK再处理指定的文本,之后再执行END模式中指定的动作,END{}语句块中,往往会放入打印结果等语句

awk -F ":" '!($3

awk 'BEGIN {FS=":"}; {if($3>=1000){print}}' /etc/passwd ##先处理完BEGIN的内容,再打印文本里面内容

awk -F ":" '{max=($3>=$4) ? $3:$4; {print max}}' /etc/passwd (了解)#($3>$4)?$3:$4三元运算符,如果第3个字段的值大于等于第4个字段的值,则把第3个字段的值赋给max,否则第4个字段的值赋给max

awk -F ":" '$7~/bash/{print $1}' zz ##输出以冒号分隔且第7个字段中包含/bash行的第一字段

awk -F ":" '($1~/root/) && (NF==7) {print $1,$2,$NF}' /etc/passwd ##第1个字段中包含root且有7个字段的行的第1/2个字段

awk -F ":" '($7!="/bin/bash") && ($7!="/sbin/nologin/"){print}' /etc/passwd ##/etc/passwd输出第7个字段既不为/bin/bash,也不为/sbin/nologin的所有行#输出第7个字段既不为/bin/bash,也不为/sbin/nologin的所有行

awk -F ":" '($NF != "/bin/bash")&&($NF!="/sbin/nologin"){print NR,$0}' /etc/passwd ##跟上面一样效果

通过管道、双引号调用shell命令:echo $PATH | awk 'BEGIN{RS=":"};END {print NR}'

统计以冒号分隔的文本段落数,END{}语句块中,往往会放入打印结果等语句echo $PATH | awk 'BEGIN{RS=": "}; {print NR,$0}; END{print NR}'

awk -F: '/bash$/{print "wc -l"}'/etc/passwd #调用wc -l命令统计使用bash的用户个数,

等同于grep -c "bash$" etc/passwdawk -F: '/bash$/ {print }' passwd | wc -l

发布者:全栈程序员栈长,转载请注明出处:https://www./link/da502cff136c2848905d8c0e169ba278


# unix  # 工具  # bash  # html  # echo  # print  # 运算符  # 三元运算符  # if  # for  # while  # 引用调用  # 字符串  # 循环  #   # https  # 行号  # 多个  # 分隔符  # 工作原理  # 行数  # 可以使用  # 不为  # 只在  # 内建  # 往往会 


相关栏目: 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571


相关推荐: Android中Textview和图片同行显示(文字超出用省略号,图片自动靠右边)  高性能网站服务器配置指南:安全稳定与高效建站核心方案  Laravel如何创建自定义中间件?(Middleware代码示例)  如何快速重置建站主机并恢复默认配置?  Laravel如何使用.env文件管理环境变量?(最佳实践)  Python图片处理进阶教程_Pillow滤镜与图像增强  Win11怎么开启自动HDR画质_Windows11显示设置HDR选项  MySQL查询结果复制到新表的方法(更新、插入)  Laravel Debugbar怎么安装_Laravel调试工具栏配置指南  Android实现代码画虚线边框背景效果  javascript和jQuery中的AJAX技术详解【包含AJAX各种跨域技术】  laravel怎么用DB facade执行原生SQL查询_laravel DB facade原生SQL执行方法  JavaScript如何操作视频_媒体API怎么控制播放  原生JS获取元素集合的子元素宽度实例  企业在线网站设计制作流程,想建设一个属于自己的企业网站,该如何去做?  如何在IIS7上新建站点并设置安全权限?  Python进程池调度策略_任务分发说明【指导】  Laravel如何发送系统通知?(Notification渠道示例)  Laravel Seeder填充数据教程_Laravel模型工厂Factory使用  ,南京靠谱的征婚网站?  手机钓鱼网站怎么制作视频,怎样拦截钓鱼网站。怎么办?  HTML5打空格有哪些误区_新手常犯的空格使用错误【技巧】  如何快速查询网址的建站时间与历史轨迹?  香港服务器网站测试全流程:性能评估、SEO加载与移动适配优化  Laravel 419 page expired怎么解决_Laravel CSRF令牌过期处理  Javascript中的事件循环是如何工作的_如何利用Javascript事件循环优化异步代码?  html5audio标签播放结束怎么触发事件_onended回调方法【教程】  如何彻底删除建站之星生成的Banner?  如何在阿里云虚拟机上搭建网站?步骤解析与避坑指南  如何撰写建站申请书?关键要点有哪些?  Python制作简易注册登录系统  Laravel Eloquent访问器与修改器是什么_Laravel Accessors & Mutators数据处理技巧  Laravel Eloquent模型如何创建_Laravel ORM基础之Model创建与使用教程  桂林网站制作公司有哪些,桂林马拉松怎么报名?  制作网站软件推荐手机版,如何制作属于自己的手机网站app应用?  香港服务器网站推广:SEO优化与外贸独立站搭建策略  Laravel如何配置和使用缓存?(Redis代码示例)  如何在 React 中条件性地遍历数组并渲染元素  Laravel如何实现数据导出到PDF_Laravel使用snappy生成网页快照PDF【方案】  实例解析angularjs的filter过滤器  如何用好域名打造高点击率的自主建站?  网站视频制作书签怎么做,ie浏览器怎么将网站固定在书签工具栏?  Laravel如何获取当前用户信息_Laravel Auth门面获取用户ID  如何快速查询域名建站关键信息?  Linux系统命令中tree命令详解  Laravel策略(Policy)如何控制权限_Laravel Gates与Policies实现用户授权  Laravel如何实现API版本控制_Laravel版本化API设计方案  Laravel如何实现URL美化Slug功能_Laravel使用eloquent-sluggable生成别名【方法】  如何用景安虚拟主机手机版绑定域名建站?  Laravel怎么在Blade中安全地输出原始HTML内容