如何使用awk命令进行复杂的文本处理？

awk 是一个功能强大的文本处理工具，能够进行复杂的文本处理任务。下面从多个方面介绍如何使用 awk 进行复杂的文本处理：

1. 数据过滤与筛选

根据多条件筛选

可以使用逻辑运算符（如 && 表示逻辑与，|| 表示逻辑或）来设置多个筛选条件。例如，有一个学生成绩文件 grades.txt，内容如下：

 

Alice 85 Math
Bob 70 English
Charlie 90 Math
David 65 English

要筛选出数学成绩大于 80 分的学生信息，可以使用以下命令：

awk '$3 == "Math" && $2 > 80 { print }' grades.txt

这里 $3 == "Math" 检查第三列是否为 "Math"，$2 > 80 检查第二列的成绩是否大于 80，只有两个条件都满足时才会打印该行。

使用正则表达式筛选

正则表达式可以用于更灵活的文本匹配。例如，筛选出名字以 "A" 开头的学生信息：

 

 

awk '$1 ~ /^A/ { print }' grades.txt

$1 ~ /^A/ 表示第一列的内容要匹配以 "A" 开头的正则表达式。

2. 数据计算与统计

求和与平均值计算

继续使用 grades.txt 文件，计算所有学生的平均成绩：

 

awk '{ sum += $2; count++ } END { print "Average grade: " sum / count }' grades.txt

在处理每一行时，将第二列的成绩累加到 sum 变量中，并增加计数器 count。处理完所有行后，在 END 块中计算并打印平均成绩。

分组统计

如果要统计不同科目的平均成绩，可以使用数组来实现分组统计：

 

awk '{ subject[$3] += $2; count[$3]++ } END { for (sub in subject) print sub ": " subject[sub] / count[sub] }' grades.txt

这里使用数组 subject 来存储每个科目的总成绩，数组 count 来存储每个科目的学生数量。处理完所有行后，通过 for 循环遍历数组，计算并打印每个科目的平均成绩。

3. 字符串处理

字符串拼接

假设有一个文件 names.txt，内容为：

 

John
Doe

要将两行内容拼接成一个完整的名字：

 

awk '{ if (NR == 1) first = $0; else print first " " $0 }' names.txt

这里使用变量 first 存储第一行的内容，在处理第二行时将其与第二行内容拼接并打印。

字符串替换

可以使用 gsub 函数进行字符串替换。例如，将文件中所有的 "Math" 替换为 "Mathematics"：

 

awk '{ gsub(/Math/, "Mathematics"); print }' grades.txt

gsub(/Math/, "Mathematics") 会将当前行中所有的 "Math" 替换为 "Mathematics"，然后打印处理后的行。

4. 自定义函数

awk 支持自定义函数，以实现更复杂的逻辑。例如，定义一个函数来计算成绩的等级：

awk '
function getGrade(score) {
    if (score >= 90) return "A";
    else if (score >= 80) return "B";
    else if (score >= 70) return "C";
    else if (score >= 60) return "D";
    else return "F";
}
{ print $1, getGrade($2) }
' grades.txt

这里定义了一个名为 getGrade 的函数，根据成绩返回对应的等级。在处理每一行时，调用该函数并打印学生姓名和成绩等级。

5. 多文件处理

可以同时处理多个文件，例如有两个文件 file1.txt 和 file2.txt，要将它们的内容合并并处理：

awk '{ print FILENAME ": " $0 }' file1.txt file2.txt

FILENAME 是 awk 的内置变量，表示当前正在处理的文件名。该命令会在每行内容前加上文件名进行输出。