Linux怎么编写脚本自动提取Nginx访问日志中刷接口的高频IP-LINUX-PHP中文网

用awk统计日志中出现最多的ip：awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -20，其中$1提取首字段（默认为ip），sort确保相邻重复，uniq -c计数，sort -nr降序排列，head -20取前20名。

linux怎么编写脚本自动提取nginx访问日志中刷接口的高频ip

怎么用 awk 快速统计日志里出现最多的 IP

直接用 awk 提取第一列（默认空格分隔）、去重计数、按频次倒序，三步到位。Nginx 默认日志格式中 IP 在最前面，所以 $1 就是客户端 IP：

awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -20

注意：如果日志用了 log_format 自定义格式（比如加了前置时间戳或 JSON），$1 可能不是 IP，得先确认字段位置。可以用 head -1 /var/log/nginx/access.log | cut -d' ' -f1-5 看前几段结构。

常见错误：漏掉 sort 就直接 uniq -c ——uniq 只对相邻重复行计数，不排序等于白统计。

怎么过滤出“刷接口”的行为，不只是看 IP 频次

单纯 IP 出现多 ≠ 恶意刷量，可能是 CDN 节点或内网代理。要结合 URI 和状态码缩小范围：

只统计 POST 或高频 GET /api/ 请求：awk '$6 ~ /^"POST|GET \/api\// && $9 == "200" {print $1}'
排除已知爬虫 UA（可选）：! /Baiduspider|SemrushBot|AhrefsBot/
加上时间窗口更准（比如最近 1 小时）：awk -v cutoff="$(date -d '1 hour ago' '+%d\/%b\/%Y:%H:[0-5][0-9]')"，再匹配 $4 字段

关键点：是请求行（"GET /api/login HTTP/1.1"），是响应状态码；字段编号取决于你的 log_format，务必用 awk '{print <p>关键点：<code>$6 是请求行（"GET /api/login HTTP/1.1"），$9 是响应状态码；字段编号取决于你的 log_format，务必用 awk '{print $0}' access.log | head -1 实际验证。

}' access.log | head -1 实际验证。

Obsidian (Linux)

操作 Obsidian 库（纯 Markdown 笔记），并通过 notesmd-cli 实现自动化。

下载

怎么写成可定时运行的 Bash 脚本

把上面逻辑封装成脚本，重点处理日志轮转和输出控制：

#!/bin/bash
LOG="/var/log/nginx/access.log"
# 如果启用了 logrotate，可能需要检查 access.log.1 或 journalctl
[ -f "$LOG.1" ] && LOG="$LOG.1"
TOP_IPS=$(awk '$6 ~ /^"GET \/api\// && $9 == "200" {print $1}' "$LOG" | sort | uniq -c | sort -nr | head -10 | awk '{print $2}')
<p>for ip in $TOP_IPS; do
count=$(grep -c "^$ip " "$LOG" | grep -oE '[0-9]+')
if [ "$count" -gt 500 ]; then
echo "$(date): suspicious IP $ip ($count hits)"</p><h1>这里可以接 iptables 或 fail2ban 命令</h1><p>fi
done</p>

容易踩的坑：

脚本没加 #!/bin/bash 或权限不足（chmod +x monitor.sh）
直接读 access.log 但 Nginx 正在写入，可能丢数据 → 更稳妥用 journalctl -u nginx --since "1 hour ago" | awk ...
没考虑 IPv6 地址（含冒号），grep "^$ip " 会误匹配，建议改用 awk -v ip="$ip" '$1 == ip'