awk基本用法
基本用法 gawk [options] 'program' FILE ...
PROGRAM: PATTERN{ACTION STATEMENTS}
語句之間用分號分割
選項
-F 指明輸入時用到的字段分割符
-v var=value 自定義變量
print item1,item2,....
要點
逗號分隔符
輸出的各item可以字符串，也可以是數(shù)值，當(dāng)前記錄的字段、變量或者awk的表達(dá)式
如省略item,相當(dāng)于print $0
1、變量
FS 默認(rèn)空白字符
OFS 默認(rèn)為空白字符
RS 輸入時的換行符
ORS 輸出時的換行符
NF number of field 字段數(shù)量
NR number of record 行數(shù)
FNR 各文件分別計數(shù) 行數(shù)
FILENAME 當(dāng)前文件名
ARGC 命令行參數(shù)的個數(shù)
ARGV 數(shù)組，保存的是命令行所給定的各參數(shù)
2、定義變量
-v var=value 變量名區(qū)分字符大小寫
在program中直接定義
3、printf 命令
格式化輸出 printf FORMAT,item1,item2,....
FORMAT必須給出
不會自動換行，需要顯示給出換行控制符
FORMAT中需要分別為后面的每個item指定一個格式化符號
格式符
%c 顯示字符的ASCII碼
%d , %i 顯示十進(jìn)制整數(shù)
%e ,%E 科學(xué)計數(shù)法數(shù)值顯示
%f 顯示為浮點數(shù)
%g , %G 以可續(xù)計數(shù)法或浮點形式顯示數(shù)值
%s 顯示字符串
%u 無符號整數(shù)
%% 顯示%本身
awk -F: '{printf "UserName:%s ,UID:%d\n",$1,$3 }' /etc/passwd
修飾符
#[.#] 第一個數(shù)字控制顯示的寬度 第二個#表示小數(shù)點后面的精度
%3.1f
- 表示左對齊
+ 顯示數(shù)值的符號
'{printf "UserName:%-10s ,UID:%d\n",$1,$3 }' /etc/passwd
4、操作符
算術(shù)操作符
x+y ,x-y ,x*y ,x/y, x^y, x%y
-x
+x 轉(zhuǎn)換為數(shù)值
字符串操作符：沒有符號的操作符 ，字符串連接
賦值操作符
=，+=，-=，/=, %= , ^=
++ ,--
比較操作符
> ,>= ,< ,<= ,!= ,==
模式匹配符
~ 是否匹配
!~ 是否不匹配
邏輯操作符
&& || ！
函數(shù)調(diào)用
function_name(argu1,argu2,...)
條件表達(dá)式
selector?if-true-expression:if-false-expression
awk -F: '{$3>=500?usertype="common user":usertype="sysadmin or sysuser";printf "%-10s:%s\n",$1,usertype}' /etc/passwd
5、PATTERN
empty 控模式，匹配每一行
/regular expression/ 僅處理能夠被匹配的行
relational expression 關(guān)系表達(dá)式：結(jié)果有“真”有“假”：結(jié)果為“真”才會被處理；
真：結(jié)果為非0值，非空字符串
awk -F: '$3>=500{print $1,$3}' /etc/passwd
line ranges 行范圍
startline,endline: /part1/,/part2/
注意：不支持直接給出數(shù)字的格式
awk -F: '(NR>=2&&NR<=10){print $1}' /etc/passwd
BEGIN/END模式
BEGIN{}:僅在開始處理文件中的文本中的文本之前執(zhí)行一次
awk -F: 'BEGIN{print "Username UID \n------------------"}{printf"%-10s %2d\n", $1,$3}' /etc/passwd
END{}:僅在文本處理完成之后執(zhí)行一次
awk -F: 'BEGIN{print "Username UID \n------------------"}{printf"%-10s %2d\n", $1,$3}END{print"==============="}' /etc/passwd
6、常用的action
Expressions 表達(dá)式
Control statement : if while等
Compound statements: 組合語句：
input statements
output statements
7、控制語句
if(condition) {statments}
if(condition) {statments} else {statments}
while(condtiton) {statments}
do {statements} while (condition)
for(expr1;expr2;expr3) {statements}
break
continue
delete array[index]
delete array
exit
{statements}
7.1 if-else
語法： if(condition) statement [else statement]
awk -F: '{if($3>=500)print $1,$3}' /etc/passwd
awk -F: '{if($3>=500){printf "Common User:%s\n",$1}else{printf "Sysuser:%s\n",$1}}' /etc/passwd
awk '{if(NF>5) print $0}' /etc/fstab
df -h | awk -F'%' '/^\/dev/{print $1}' | awk '{if($NF>=30) print $1}'
使用場景：對awk取得的整行或某個字段做條件判斷
7.2 while循環(huán)
語法： while(condition) statement
條件“真”，進(jìn)入循環(huán)：條件為“假”，退出循環(huán)
awk '/^[[:space:]]*kernel/ {i=1;while(i<=NF) {print $i,length($i);i++}}' /etc/grub.conf
awk '/^[[:space:]]*kernel/ {i=1;while(i<=NF) {if(length($i)>=7){print $i,length($i)};i++}}' /etc/grub.conf
使用場景：對一行內(nèi)的多個字段逐一類似處理時使用：對數(shù)組中的各元素逐一處理時使用：
7.3 do-while循環(huán)
語法：do statement while(condition)
意義：至少執(zhí)行一次循環(huán)體
awk -F: '{i=1;do {print $i;i++}while(i<=3)}' /etc/passwd
7.4 fo循環(huán)
語法：for(expr1;expr2;expr3) statement
for(variable assignment;condition;iteration process) {for-body}
awk '/^[[:space:]]*kernel/ {for(i=1;i<=NF;i++) {if(length($i)>=7){print $i,length($i)}}}' /etc/grub.conf
特殊用法：
能夠遍歷數(shù)組中的元素：
語法：for(var in array)
awk -F: '$NF!~/^$/{BASH[$NF]++}END{for(A in BASH){printf "%15s:%i\n",A,BASH[A]}}' /etc/passwd
7.5 switch語句
語法：switch(expression){case VALUE1 or /REGEXP/: statement; case VALUE2 or /REGEXP/: statement; ...; default: statement}
7.6 break 和 continue
break [n]
continue
提前結(jié)束本輪循環(huán)，直接進(jìn)入下一輪循環(huán)
7.7 next
提前結(jié)束對本行的處理而直接進(jìn)入下一行：
awk -F: '{if($3%2!=0) next; print $1,$3}' /etc/passwd
8、array數(shù)組
關(guān)聯(lián)數(shù)組:array[index-expression]
index-expression
可以是任意字符串,字符串使用雙引號
如果某數(shù)組元素事先不存在，在引用時，awk會自動創(chuàng)建此元素，并將其值初始化為“空串”
若要判斷數(shù)組中是否存在某元素，要使用“index in array”格式進(jìn)行；
weekdays[mon]="monday"
若要遍歷數(shù)組中的每個元素，要使用for循環(huán)：
for(var in array) {for-body}
awk 'BEGIN{weekday["mon"]="Monday";weekday["tue"]="Tuesday";for(i in weekday){print weekday[i]}}'
注意：var會遍歷array的每個索引
state["LISTEN"]++
state["ESTABLISTEN"]++
netstat -tan | awk '/^tcp\>/{state[$NF]++}END{for(i in state){print i,state[i]}}'
awk 'BEGIN{print "IP NUM\n------------------" }{ip[$1]++}END{for(i in ip){if(ip[i]>=200)print i,ip[i]}}' /usr/local/nginx/logs/access.log
統(tǒng)計/etc/fstab每個文件系統(tǒng)出現(xiàn)的次數(shù)
awk '!/\#/{ext[$3]++}END{for(i in ext){print i,ext[i]}}' /etc/fstab
統(tǒng)計/etc/fstab每個單詞出現(xiàn)的次數(shù)
awk '{for(i=1;i<=NF;i++){count[$i]++}}END{for(i in count){print i,count[i]}}' /etc/fstab
刪除數(shù)組變量
從關(guān)系數(shù)組中刪除數(shù)組索引需要使用delete命令。使用格式為：
delete array[index]
9、函數(shù)
9.1內(nèi)置函數(shù)
數(shù)值處理：
rand():返回0和1之間一個隨機(jī)數(shù)
字符串處理：
length(展開)：返回指定字符串長度
sub(r,s,[t]): 以r表示的模式來查找t所表示的字符中的匹配的內(nèi)容，并將其第一次出現(xiàn)替換為s所表示的內(nèi)容
gsub(r,s,[t]):以r表示的模式來查找t所表示的字符中的匹配的內(nèi)容，并將其所有出現(xiàn)替換為s所表示的內(nèi)容
split(s,a,[r]):以r為分隔符切割字符s，并將切割后的結(jié)果保存至a所表示的數(shù)組中
netstat -tan | awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++}END{for(i in count){print i,count[i]}}'
tolower(s) 功能：將s中的所有字母轉(zhuǎn)為小寫
toupper(s) 功能：將s中的所有字母轉(zhuǎn)為大寫
9.2自定義函數(shù)：
自定義函數(shù)使用function關(guān)鍵字。格式如下：
function F_NAME([variable])
{
statements
}
函數(shù)還可以使用return語句返回值，格式為“return value”。
10、多文件處理
把a(bǔ)文件和b文件相同項合并輸出 趙云 男 蜀國
a.txt b.txt
張飛 男 曹操 魏國
趙云 男 趙云 蜀國
黃忠 男 周瑜 吳國
馬超 男 法正 蜀國
awk 'NR==FNR{name[$1]=$2} NR>FNR{if(name[$1]!=""){print $0,name[$1]}}' b.txt a.txt
把2.txt的內(nèi)容替換到1.txt(2.txt指定替換行)
awk -F: 'NR==FNR{a[$1]=$2;next};{if(a[FNR]==""){print $1}else{print a[FNR]}}' 2.txt 1.txt
