AWK 数据清洗与转换

《AWK 数据清洗与转换》

---

🎯 学习目标

• 掌握使用 AWK 清洗原始日志或数据文件中的无效、脏乱数据
• 能够提取关键字段并进行格式标准化（如时间戳、IP、URL）
• 实现将非结构化文本转化为结构化输出（CSV、TSV、JSON 格式）
• 理解如何在不同 Linux 发行版（Ubuntu、CentOS、EulerOS）中处理日志差异
• 提升自动化脚本的健壮性和可维护性，为后续数据分析打下基础

---

🔑 核心重点

类别	内容
数据清洗技巧	删除空行；过滤无用字段；正则提取有效信息；统一时间/日期格式
数据转换方式	输出 CSV/TSV；模拟 JSON；重排字段顺序
常用函数	sub(), gsub(), match(), substr(), split()
性能优化	减少重复匹配；避免不必要的数组操作
注意事项	字段位置因系统而异；权限问题影响读取；awk/gawk 兼容性

---

📚 详细讲解

---

一、什么是数据清洗？为什么要用 AWK？

在实际运维和开发中，我们经常面对的是：

• 日志中混杂着调试信息、错误信息
• 多种服务日志格式不统一
• 时间格式不一致、IP 地址前后有空格、状态码嵌套在字符串中
• 想把日志导出为 CSV 或 JSON 用于 Excel 分析或导入数据库

AWK 的优势在于它天生擅长处理按行解析 + 按列操作的任务，非常适合做初步的数据清洗和格式转换。

---

二、实战案例：清理 Nginx/Apache 访问日志中的无效行

🧪 场景：删除日志中的空行和注释行

# ❌ 不推荐写法：手动判断每行内容
awk '{if ($0 !~ /^$/ && $0 !~ /^#/) print}' access.log

# ✅ 推荐写法：简洁高效
awk '!/^$|^[[:space:]]*#/ {print}' access.log

📌 解释：

• !/^$/：排除空行
• !/^#|^[:space:]*#/：排除以 # 开头的注释行（包括前面有空格的情况）

---

三、实战案例：统一日志中的时间格式（ISO8601）

🧪 场景：将 [22/Jun/2025:12:34:56 +0800] 转换为 2025-06-22T12:34:56+08:00

awk '
{
    time_str = $4;
    gsub(/[\/\[\]]/, " ", time_str);   # 替换 / 和 [ ] 为空格
    split(time_str, t, ":");           # 分割成年月日等
    day = t[1];
    month = t[2];
    year = t[3];
    hour = t[4];
    min = t[5];
    sec = t[6];

    # 构建 ISO8601 时间
    iso_time = year "-" substr("0" month, length(month) == 2 ? 1 : 2, 2) "-" day "T" hour ":" min ":" sec "+08:00"

    print iso_time, $0
}' access.log

📌 输出示例：

2025-06-22T12:34:56+08:00 192.168.1.100 - - [22/Jun/2025:12:34:56 +0800] "GET /index.html HTTP/1.1" 200 ...

✅ 应用价值：

• 统一日志时间格式便于后续分析
• 可用于 ELK、Prometheus、Grafana 等平台数据导入

---

四、实战案例：提取 IP、请求路径、状态码并输出 CSV 格式

🧪 场景：从 Web 日志中提取结构化字段并输出 CSV 文件

awk 'BEGIN{OFS=","; print "IP", "Path", "Status"} 
!/^(#|$)/ {
    print $1, $7, $9
}' access.log > output.csv

📌 输出到 output.csv 示例：

IP,Path,Status
192.168.1.100,/index.html,200
192.168.1.100,/about.html,404

✅ 技巧说明：

• 使用 OFS="," 设置输出字段分隔符为逗号
• 在 BEGIN 中打印表头
• 忽略空行和注释行

---

五、实战案例：模拟 JSON 格式输出（适用于简单场景）

🧪 场景：将每条日志转为一行 JSON 字符串

awk '{
    log["ip"] = $1;
    log["path"] = $7;
    log["status"] = $9;

    printf("{");
    printf("\"ip\": \"%s\", ", log["ip"]);
    printf("\"path\": \"%s\", ", log["path"]);
    printf("\"status\": \"%s\"}\n", log["status"]);
}' access.log > output.json

📌 输出到 output.json 示例：

{"ip": "192.168.1.100", "path": "/index.html", "status": "200"}
{"ip": "192.168.1.101", "path": "/about.html", "status": "404"}

⚠️ 小贴士：

• AWK 本身不支持复杂 JSON，只能模拟输出简单的键值对
• 如果需要完整 JSON 支持，建议配合 Python 或 jq 工具链使用

---

六、实战案例：去除字段中的多余空格和符号

🧪 场景：清理 IP 前后可能存在的引号或空格

awk '{
    gsub(/^[ \t\"]+|[ \t\"]+$/, "", $1);  # 去除首尾空格和引号
    ip = $1;
    print ip
}' input.txt

📌 输入示例：

"192.168.1.100"
 192.168.1.101  
" 192.168.1.102 "

📌 输出结果：

192.168.1.100
192.168.1.101
192.168.1.102

---

七、不同 Linux 发行版注意事项（Ubuntu vs CentOS vs EulerOS）

功能	Ubuntu	CentOS	EulerOS
awk 实现	gawk	gawk	gawk
支持 PROCINFO["sorted_in"]	✅（gawk >= 4.0）	✅	✅
/etc/passwd 结构	标准	标准	标准
日志文件路径	/var/log/syslog, /var/log/auth.log	/var/log/messages, /var/log/secure	同 CentOS
查看日志权限	sudo 查看	需 sudo	需 sudo

📌 小贴士：

• CentOS/EulerOS 上查看 /var/log/secure 需要管理员权限，建议使用 sudo awk ...
• 不同系统的日志格式会影响字段提取逻辑，请先观察几行日志结构再写脚本

---

八、调试与优化建议

技巧	说明
print $0	打印原始行内容，确认是否符合预期
print NF	查看字段数量是否正确
print substr($0, 1, 50)	查看前几个字符，辅助定位字段偏移
`head -n 5 file	awk '...'`
BEGIN{FS=","}	设置合适的字段分隔符提升可读性
next	提前跳过无用行，提升执行效率
delete array	清空数组释放内存，适用于大文件处理

---

✅ 总结

掌握 AWK 的数据清洗与转换能力，是构建自动化日志处理流程的关键一步。通过以下技能，你可以在 Ubuntu、CentOS、EulerOS 等不同 Linux 系统上完成高效的日志预处理任务：

• 清理无效行、注释行、空行
• 提取关键字段（IP、路径、状态码、时间等）
• 标准化时间格式、去除多余空格和符号
• 输出 CSV、TSV、模拟 JSON 等结构化格式
• 结合 grep、sort、uniq 构建完整的日志处理流水线

继续练习真实日志文件，你会越来越熟练地运用这些数据清洗与转换技巧，成为一名真正的 Linux 文本处理高手！🚀🔥