python脚本可自动化统计nginx日志中访问频次最高的ip，核心是逐行解析日志、提取ip（支持ipv4/ipv6及x-forwarded-for）、过滤无效行并用counter高效计数，支持大文件、定时任务和压缩日志处理。
用 Python 脚本自动化统计 Nginx 日志中访问频次最高的 IP，核心是解析日志、提取 IP、计数并排序。关键在于处理真实日志格式（如 log_format combined）、应对大文件、避开无效行（空行、注释、健康检查等），并支持定时运行。
解析标准 Nginx 日志格式
Nginx 默认的 combined 格式形如：192.168.1.100 - - [10/Jan/2024:14:22:05 +0800] "GET /api/v1/users HTTP/1.1" 200 1234 "https://example.com" "Mozilla/5.0..."
IP 总是第一个字段，但需注意：可能含 IPv6、代理透传（如 X-Forwarded-For）、或被反向代理截断。若 Nginx 配置了 real_ip 模块且信任上游代理，应优先读取 X-Forwarded-For 头——但这需在日志格式中显式记录（如 $http_x_forwarded_for）。脚本默认按首字段提取，若日志含 X-Forwarded-For，需调整正则或切分逻辑。
Python 脚本快速实现（支持大文件）
以下脚本使用生成器逐行读取，避免内存溢出；用 collections.Counter 高效计数；过滤掉空行、注释行和常见爬虫/探测 IP：
#!/usr/bin/env python3
import sys
import re
from collections import Counter
<p>def extract_ip(line):
if not line.strip() or line.startswith('#'):
return None</p><h1>匹配 IPv4 或 IPv6（简化版，实际可更精确）</h1><pre class="brush:php;toolbar:false;">m = re.match(r'^([0-9a-fA-F:.]+)', line)
if m:
ip = m.group(1)
# 过滤明显无效 IP（如 0.0.0.0、127.0.0.1、内网段，按需调整）
if ip in ('0.0.0.0', '127.0.0.1') or ip.startswith('192.168.') or ip.startswith('10.'):
return None
return ip
return Nonedef main(log_file, top_n=10): counter = Counter() with open(log_file, 'r', encoding='utf-8', errors='ignore') as f: for line in f: ip = extract_ip(line) if ip: counter[ip] += 1 for ip, count in counter.most_common(top_n): print(f"{ip}\t{count}")
if name == 'main': if len(sys.argv) python nginx_ip_top.py /path/to/access.log [top_n]") sys.exit(1) log_path = sys.argv[1] top_n = int(sys.argv[2]) if len(sys.argv) > 2 else 10 main(log_path, top_n)
- 保存为
nginx_ip_top.py，赋予执行权限：chmod +x nginx_ip_top.py - 运行：
python nginx_ip_top.py /var/log/nginx/access.log 20输出前 20 名 - 支持中文路径和乱码日志（
errors='ignore'）
接入定时任务与结果输出
让统计自动化，需结合系统定时器和简单输出管理：
- 每天凌晨 2 点统计昨日日志（假设日志按天切割）：
0 2 * * * /usr/bin/python3 /opt/scripts/nginx_ip_top.py /var/log/nginx/access.log.1.gz >> /var/log/nginx/ip_top_daily.log 2>&1
注意：若日志已压缩（.gz），需用gzip.open替换open，并安装gzip模块支持 - 输出可追加到文件，也可用
mail发送简报，或写入 CSV 供后续分析：counter.most_common(top_n)返回元组列表，用csv.writer写入即可 - 为防重复统计，建议配合
logrotate的postrotate脚本触发，确保只处理已归档日志
进阶：实时流式统计（可选）
若需近实时监控（如每分钟 Top 10），可用 tail -f 配合 Python 子进程读取：
- 用
subprocess.Popen(['tail', '-f', log_path], stdout=subprocess.PIPE)启动长连接 - 逐行解析新日志，更新内存中的 Counter（注意线程安全，单线程足够）
- 每 60 秒打印一次当前 Top 10，并重置计数器（或滑动窗口）
- 生产环境建议改用
inotify或日志采集工具（如 Filebeat）替代 tail，更稳定
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
