awk的強大操作

awk是一種用於處理文本、模式匹配的編程語言。與sed和grep，俗稱Linux下的三劍客。學會 awk 等於你在 Linux 命令行裡，又多了一種處理文本的選擇。這篇文章重點教你如何使用，看完這篇文章，就大致知道如何使用了，力求簡單使用。

術語鋪墊

在awk的文本處理規則裡，awk將文本文件視為由字段和記錄組成的文本數據庫。默認情況下，awk將每一行視為一個記錄，也就是說記錄的分隔符是 ，記錄的分隔符可以通過內置變量RS更改。

在每一個記錄中，又把記錄分為若干個字段，即記錄由字段組成，而字段的默認分隔符為空格或製表符。

一、基礎用法

和我們平常使用的 Linux 命令一樣， awk 也是遵循著某種格式來使用，格式如下：

# 使用格式

awk 執行的事件 文件

# 例如：

root@jaking-virtual-machine:~# awk '{print $0}' test.txt
My first language:Python
My second language:Shell
My third language:Java
My fourth language:C

其中，print 表示打印，$0 表示一整個記錄，test.txt 表示一個文件。所以

awk '{print $0}' test.txt

表示把 test.txt 文件裡面的每行記錄都打印出來。

$0 表示整個記錄，不過 $1, $2, $3.....則表示整個記錄中的第一個字段，第二個字段......。

root@jaking-virtual-machine:~# awk '{print $1}' test.txt
My
My
My
My
root@jaking-virtual-machine:~# awk '{print $2}' test.txt
first
second
third
fourth
root@jaking-virtual-machine:~# awk '{print $3}' test.txt
language:Python
language:Shell
language:Java
language:C

剛才我們說字段的默認分隔符是空格或者製表符這些，默認意味著我們可以自己顯式著指定分隔符。下面我們用“：”來作為我們的分隔符吧。

root@jaking-virtual-machine:~# awk -F ':' '{print $2}' test.txt
Python
Shell
Java
C

上面我們用參數 -F 指定了我們的分隔符，即如果想要指定字段的分隔符，可以用參數 -F 指定分隔符。

二、條件限制

在打印文本的時候，我們可以指定一些條件。格式如下：

awk 參數 條件 要執行的動作 文件

例如我們指定分隔符為“：”，條件為第二個字段為"Java"的記錄。

# 打印第二個字段為"Java"的文本

root@jaking-virtual-machine:~# awk -F ':' '$2 == "Java" {print $2}' test.txt
Java

打印奇數行的的第二個字段：

# 打印奇數行的記錄

root@jaking-virtual-machine:~# awk -F ':' 'NR % 2 == 1 {print $2}' test.txt
Python
Java

其中，NR 是一個內置的變量，表示當前正在處理的記錄，即當前的記錄是第幾個記錄。

三、條件語句

和我們平常的編程一樣，awk 也提供了 if, else, while 等這些條件語句。

例如，打印第二個及其之後的記錄：

root@jaking-virtual-machine:~# awk '{if(NR > 1) print $2}' test.txt
second
third
fourth

注意，上面的字段分隔符是空格了，並且 if 語句是在“{}” 裡指定的。

再看一個例子：

root@jaking-virtual-machine:~# awk '{if($1 < "s") print $1; else print $2}' test.txt
# 如果第一個字段小於“s",則打印第一個字段，否則打印第二個字段
My
My
My
My
root@jaking-virtual-machine:~# awk '{if($1 > "s") print $1; else print $2}' test.txt
first
second
third
fourth
root@jaking-virtual-machine:~# awk '{if($1 < "l") print $1; else print $2}' test.txt
My
My
My
My
root@jaking-virtual-machine:~# awk '{if($1 > "l") print $1; else print $2}' test.txt
first
second
third
fourth
root@jaking-virtual-machine:~# awk '{if($1 > "c") print $1; else print $2}' test.txt
first
second
third
fourth
root@jaking-virtual-machine:~# awk '{if($1 > "d") print $1; else print $2}' test.txt
first
second
third
fourth
root@jaking-virtual-machine:~# awk '{if($1 > "p") print $1; else print $2}' test.txt
first
second
third
fourth
root@jaking-virtual-machine:~# awk '{if($1 < "p") print $1; else print $2}' test.txt
My
My
My
My
root@jaking-virtual-machine:~# awk '{if($3 < "s") print $3; else print $2}' test.txt
language:Python
language:Shell
language:Java
language:C
root@jaking-virtual-machine:~# awk '{if($2 < "s") print $3; else print $2}' test.txt
language:Python
second
third
language:C
root@jaking-virtual-machine:~# awk '{if($2 < "s") print $1; else print $2}' test.txt
My
second
third
My

四、函數

awk 提供了一些內置函數來供我們使用，一下常用的函數如下：

tolower()：字符轉為小寫。
toupper()：字符轉為大寫
length()：返回字符串長度。
substr()：返回子字符串。
sqrt()：平方根。
rand()：隨機數。
root@jaking-virtual-machine:~# awk '{print toupper($1)}' test.txt
MY
MY
MY
MY
root@jaking-virtual-machine:~# awk '{print tolower($1)}' test.txt
my
my
my
my
root@jaking-virtual-machine:~# awk -F ':' '{print toupper($2)}' test.txt
PYTHON
SHELL
JAVA
C
root@jaking-virtual-machine:~# awk -F ':' '{print tolower($2)}' test.txt
python
shell
java
c

五、變量

剛才我們說 NR 是一個表示當前正在處理的記錄是第幾個記錄的內置變量，常用的內置變量如下：

NR：表示當前處理的是第幾行
NF：表示當前行有多少個字段
FILENAME：當前文件名
FS：字段分隔符，默認是空格和製表符。
RS：行分隔符，用於分割每一行，默認是換行符。
OFS：輸出字段的分隔符，用於打印時分隔字段，默認為空格。
ORS：輸出記錄的分隔符，用於打印時分隔記錄，默認為換行符。

例如我們要打印每一個記錄的最後一個字段，就可以使用變量 NF 了。

root@jaking-virtual-machine:~# awk '{print $NF}' test.txt
language:Python
language:Shell
language:Java
language:C

對了，剛才那個 NR 的變量也是挺好用的，例如：

root@jaking-virtual-machine:~# awk '{print NR ". " $0}' test.txt
1. My first language:Python
2. My second language:Shell
3. My third language:Java
4. My fourth language:C