sed适合行级编辑（如删空行、替换关键词），awk擅长按列分析结构化日志（如统计状态码、计算平均值）；二者配合可高效处理linux日志。
在 Linux 日志处理中，sed 和 awk 是最常用、最高效的两个工具：sed 适合做行级编辑（比如删空行、替换关键词、提取特定行），awk 更擅长按列分析结构化日志（比如统计状态码、计算耗时平均值、格式化输出）。用对场景，一条命令就能替代几十行脚本。
sed 处理日志的典型用法
sed 是“流编辑器”，不改变原文件（除非加 -i），默认逐行读入、处理、输出。日志处理中常用操作有：
-
过滤掉无用行：比如删除空行或注释行
sed '/^$/d' access.log—— 删除所有空行sed '/^#/d' config.log—— 删除以 # 开头的注释行 -
替换关键字段：比如脱敏 IP 或掩码密码
sed 's/[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}/XXX.XXX.XXX.XXX/g' app.log
（注意：实际中建议用更精确的正则匹配 IPv4） -
提取指定范围的行：比如只看某段时间段的日志
sed -n '/2026-08-06 14:/, /2026-08-06 15:/p' nginx.log—— 提取 14 点到 15 点之间的日志块 -
批量修改并保存：谨慎使用
-i，推荐先加.bak备份sed -i.bak 's/DEBUG/INFO/g' debug.log—— 把所有 DEBUG 替成 INFO，同时生成 debug.log.bak
awk 分析日志的核心技巧
awk 默认以空白（空格、制表符）为分隔符，把每行自动切分成 、 … $NF 字段，特别适合 Nginx、Apache、syslog 这类空格分隔的日志格式。
linux-sysadmin
下载
Linux系统管理专家，覆盖12大模块：用户权限、SSH、存储、网络、systemd、防火墙、日志监控、备份恢复、TLS证书、Ansible、容器、IaC。提供配置、验证、加固、监控、备份、自动化、故障排查、回滚闭环。关键词：useradd、sudo、sshd_config、chmod、SEL...
-
按列提取信息：比如 Nginx 日志中提取状态码和响应时间
awk '{print $9, $10}' access.log—— 第 9 列是 HTTP 状态码，第 10 列是响应时间（单位 ms） -
带条件筛选+统计：比如统计 404 错误出现次数
awk '$9 == 404 {count++} END {print "404 count:", count}' access.log -
计算平均值或最大值：比如算平均响应时间（假设第 10 列是数字）
awk '$10 ~ /^[0-9]+$/ {sum += $10; n++} END {if(n) print "avg:", sum/n}' access.log -
自定义分隔符处理 CSV 或带引号日志：比如用双引号或逗号分隔
awk -F',' '{print $1, $3}' data.csvawk -F'"' '{print $2}' quoted.log—— 按双引号切分，取第二个字段
sed 和 awk 配合使用更高效
单个工具解决不了的问题，组合起来往往更简洁。常见协作模式：
-
先用 sed 清洗，再用 awk 分析：比如去掉日志前缀时间戳，再按空格取字段
sed 's/^\[[^]]*\] //; s/^\([^ ]*\) \([^ ]*\) \([^ ]*\) \([^ ]*\) \([^ ]*\) \([^ ]*\) \([^ ]*\) \([^ ]*\) \([^ ]*\) \([^ ]*\).*$/\1 \2 \3 \4 \5 \6 \7 \8 \9 \10/' access.log | awk '{print $9}'
（更推荐用 awk 自己跳过时间戳字段，但复杂日志清洗时 sed 预处理很实用） -
用 awk 生成 sed 命令动态处理：比如从日志中提取所有异常 URL，批量替换
awk '/ERROR/ {print "s/" $7 "/REDACTED/g"}' app.log | sed -f - target.conf
（awk 输出一串 sed 替换命令，通过-f -让 sed 从标准输入读取执行）
注意事项和避坑提醒
实际用时容易忽略几个关键点：
-
引号要选对：sed 和 awk 命令里含变量或特殊符号时，优先用单引号避免 shell 提前解析；需要变量展开时才用双引号，例如：
awk -v pattern="$KEY" '$1 ~ pattern {print}' log -
正则中的点号、括号等要转义：sed 默认用基础正则，
.表示任意字符，要匹配真实点号得写\.；用-r（sed）或-E（grep）可启用扩展正则，减少反斜杠 -
字段编号别数错：awk 的 $1 是第一列，但日志开头可能有空格或多个连续空格——默认分隔符会自动压缩，一般没问题；若字段含空格（如 User-Agent），建议先用 sed 或 awk 的
split()函数处理 -
大日志文件慎用 -i 直接改写：尤其生产环境，务必先测试命令效果，再加
-i.bak备份后再执行
