다음은 python+pandas를 사용하여 nginx 로그를 분석하는 예입니다. 좋은 참고 가치가 있으며 모든 사람에게 도움이 되기를 바랍니다. 함께 살펴보겠습니다
Requirements
nginx 액세스 로그를 분석하면 각 인터페이스 응답 시간의 최대, 최소, 평균 및 액세스 시간을 얻을 수 있습니다.
구현 원칙
nginx 로그 uriuriupstream_response_time 필드를 pandas 데이터 프레임에 저장한 후 그룹화 및 데이터 통계 기능을 통해 구현합니다.
구현
1. 준비
#创建日志目录,用于存放日志 mkdir /home/test/python/log/log #创建文件,用于存放从nginx日志中提取的$uri $upstream_response_time字段 touch /home/test/python/log/log.txt #安装相关模块 conda create -n science numpy scipy matplotlib pandas #安装生成execl表格的相关模块 pip install xlwt
2. 코드 구현
#!/usr/local/miniconda2/envs/science/bin/python #-*- coding: utf-8 -*- #统计每个接口的响应时间 #请提前创建log.txt并设置logdir import sys import os import pandas as pd mulu=os.path.dirname(__file__) #日志文件存放路径 logdir="/home/test/python/log/log" #存放统计所需的日志相关字段 logfile_format=os.path.join(mulu,"log.txt") print "read from logfile \n" for eachfile in os.listdir(logdir): logfile=os.path.join(logdir,eachfile) with open(logfile, 'r') as fo: for line in fo: spline=line.split() #过滤字段中异常部分 if spline[6]=="-": pass elif spline[6]=="GET": pass elif spline[-1]=="-": pass else: with open(logfile_format, 'a') as fw: fw.write(spline[6]) fw.write('\t') fw.write(spline[-1]) fw.write('\n') print "output panda" #将统计的字段读入到dataframe中 reader=pd.read_table(logfile_format,sep='\t',engine='python',names=["interface","reponse_time"] ,header=None,iterator=True) loop=True chunksize=10000000 chunks=[] while loop: try: chunk=reader.get_chunk(chunksize) chunks.append(chunk) except StopIteration: loop=False print "Iteration is stopped." df=pd.concat(chunks) #df=df.set_index("interface") #df=df.drop(["GET","-"]) df_groupd=df.groupby('interface') df_groupd_max=df_groupd.max() df_groupd_min= df_groupd.min() df_groupd_mean= df_groupd.mean() df_groupd_size= df_groupd.size() #print df_groupd_max #print df_groupd_min #print df_groupd_mean df_ana=pd.concat([df_groupd_max,df_groupd_min,df_groupd_mean,df_groupd_size],axis=1,keys=["max","min","average","count"]) print "output excel" df_ana.to_excel("test.xls")
3. 인쇄된 양식은 다음과 같습니다.
포인트
1. 로그 파일이 상대적으로 큰 경우 readlines() 또는 readline()을 사용하지 마세요. 이렇게 하면 모든 로그를 메모리로 읽어 메모리가 가득 차게 됩니다. 따라서 여기서는 기본적으로 메모리를 차지하지 않는 for line in fo iteration 방식을 사용한다.
2. nginx 로그를 읽으려면 pd.read_table(log_file, sep=' ', iterator=True)을 사용할 수 있지만 여기서 설정한 sep는 정상적으로 분할과 일치할 수 없으므로 먼저 nginx를 분할한 후 저장하세요. 팬더.
3. Pandas는 대용량 파일을 청크로 읽고, 다양한 청크 크기를 사용하여 읽은 다음 pandas.concat을 호출하여 DataFrame에 연결하는 IO 도구를 제공합니다
관련 권장 사항:
python3 pandas를 사용하여 MySQL 데이터를 읽고
위 내용은 python+pandas를 사용하여 nginx 로그를 분석하는 예의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!