首页  >  文章  >  php教程  >  IIS日志分析搜索引擎爬虫记录程序

IIS日志分析搜索引擎爬虫记录程序

WBOY
WBOY原创
2016-06-21 08:58:121259浏览

使用注意:

  修改iis.php文件中iis日志的绝对路径

  例如:$folder=”c:/windows/system32/logfiles/站点日志目录/”; //后面记得一定要带斜杠(/)。

  ( 用虚拟空间的不懂查看你的站点绝对路径?上传个探针查看!

  直接查看法:http://站点域名/iis.php

  本地查看法:把日志下载到本地 http://127.0.0.1/iis.php )

  注意:

  //站点日志目录,注意该目录必须要有站点用户读取权限!

  //如果把日志下载到本地请修改143行的网址为您网站的网址,此操作不是必要操作,不影响分析结果。

  //修改文件名称iis.php 需要同时修改对应代码 ctrl+h 把 iis.php全部替换成您要修改的文件名 否则程序运行出错。

  //如果iis日志文件过大,可能会导致程序超时!同时也不建议大家使用!


 









";
   }
   }
 closedir($fp);
 $html = indexhtml();
 $copy = mycopy();
 $html = str_replace("[showlog]",$indexstr,$html);
 $html = str_replace("[copy]",$copy,$html);
 echo $html;
}else{
  echo "该日志目录不存在或权限不足,请检查设置!";
  exit();
 }
 }elseif ($type==’Baiduspider’){
  echo show($type,$folder,$showfile,$page,$pagesize);
 }elseif ($type==’Googlebot’){
  echo show($type,$folder,$showfile,$page,$pagesize);
 }elseif ($type==’yahoo’){
  echo show($type,$folder,$showfile,$page,$pagesize);
 }elseif ($type==’YodaoBot’){
  echo show($type,$folder,$showfile,$page,$pagesize);
 }elseif ($type==’Sosospider’){
  echo show($type,$folder,$showfile,$page,$pagesize);
 }elseif ($type==’Sogou’){
  echo show($type,$folder,$showfile,$page,$pagesize);
 }elseif ($type==’msnbot’){
  echo show($type,$folder,$showfile,$page,$pagesize);
 }

function show($type,$folder,$showfile,$page,$pagesize)
{
 if ($type==’Baiduspider’)
 {
  $title=’百度’;
 }elseif ($type==’Googlebot’){
  $title=’谷歌’;
 }elseif ($type==’yahoo’){
  $title=’雅虎’;
 }elseif ($type==’YodaoBot’){
  $title=’有道’;
 }elseif ($type==’Sosospider’){
  $title=’搜搜’;
 }elseif ($type==’Sogou’){
  $title=’搜狗’;
 }elseif ($type==’msnbot’){
  $title=’MSN’;
 }
 if ($type&&$folder&&$showfile)
 {
  if(file_exists($folder.$showfile))
  {
  $fp= fopen($folder.$showfile,"r");
  }else{
   echo "该日志文件不存在,请检查设置!";
   exit;
  }
  $j=0;
  $y=0;
  $t=0;
  $h=0;
  while (!feof($fp))
  {
   $str = fgets($fp);
    $str =iconv("UTF-8","GB2312//IGNORE",$str);
   if(strpos($str,$type))
   {
    $j++;
    $temp[].=$str;
    $tmpcount = explode(" ",$str);
    if ($tmpcount[11]==200)$t++;
    if ($tmpcount[11]==304)$h++;
    if ($tmpcount[11]==404)$y++;
   }
  }
  fclose($fp);
  $count = count($temp);
  if ($page==1)
  {
   $countshow=$count;
   $mynum = $count-$pagesize;
  }else{
   $countshow =$count-($page*$pagesize-$pagesize);
   $mynum = $count-$page*$pagesize;
  }
  $pagecount =ceil(count($temp) / $pagesize);
  if ($page>=$pagecount)
  {
   $mynum = $pagecount;
  }
  $m=0;
  for ($i=$countshow-1;$i>=$mynum;$i--)
  {
   $num = explode(" ",$temp[$i]);
            $domain="http://tarr.cn"; //网站URL 末尾不要带斜杠
    $show.="





";
  }
  unset($temp);
  $showpage = "";
  if ($show)
  {
  $html = pagehtml();
  $copy = mycopy();
  $htmltitle = "牛仔IIS日志蜘蛛爬行记录分析器 茄咧啡修改版";//请保留,谢谢!
  $html = str_replace("[title]",$title,$html);
  $html = str_replace("[htmltitle]",$htmltitle,$html);
  $html = str_replace("[show]",$show,$html);
  $html = str_replace("[count]",$j,$html);
  $html = str_replace("[page]",$showpage,$html);
  $html = str_replace("[y]",$y,$html);
  $html = str_replace("[t]",$t,$html);
  $html = str_replace("[h]",$h,$html);
  $html = str_replace("[copy]",$copy,$html);
  return $html;
  }
 }
}
function indexhtml()
{
 return ’



牛仔IIS日志蜘蛛爬行记录分析器 V1.1



以下是PHP源代码:
 /*
  牛仔IIS日志蜘蛛爬行记录分析器 V1.1(PHP GB2312 版)
  作者:牛仔
  QQ:172379201
  Email:17gd@163.com
 */
 //===================================================
  header("content-type:text/html; charset=gb2312");
 //站点日志目录,注意该目录必须要有站点用户读取权限!
 //如果把日志下载到本地请修改143行的网址为您网站的网址,此操作不是必要操作,不影响分析结果。
 //如果修改了文件名称iis.php 需要同时修改代码 Ctrl+H 把 iis.php全部替换成您要修改的文件名 否则程序运行出错。
 $folder="D:/Vhost/WebRoot/jooker82465/www/wordpress/uploads/W3SVC87164023/";  //后面记得一定要带斜杠 / !
 $pagesize = 50;//设置分页显示条数!
 //=========================
$type = addslashes($_GET[’type’]);
if ($type)$type = base64_decode($type);
$showfile = addslashes($_GET[’showfile’]);
$page = addslashes($_GET[’page’]);
if (!$page)$page=1;
//============================
 //打开目录
 if (!$type){
 if (file_exists($folder))
 {
  $fp=opendir($folder);
  while(false!=$file=readdir($fp))
  {
     if($file!=’.’ &&$file!=’..’)
     {
         $file="$file";
         $arr_file[]=$file;
        }
  }
  if(is_array($arr_file))
  {
   for ($i=count($arr_file)-1;$i>=0;$i--)
   {
    $indexstr.="
".date("Y-m-d",filectime($folder.$arr_file[$i]))."
百度(Baidu)

谷歌(Google)

雅虎(yahoo)

有道(yodao)

搜搜(soso)

搜狗(sogou)

微软(msn)
".$num[0]." ".$num[1]." ".$num[9]." ".$num[5]." ".$num[11]."
每页 ".$pagesize." 条 当前".$page."/$pagecount";
  $showpage.="  首页";
  if ($page!=1)
  {
   $showpage.="  上一页";
  }
  if ($page!=$pagecount)
  {
  $showpage.="  下一页";
  $weei = "  尾页";
  }
  $showpage.=$weei."

 
  
 
 
  
  
 
 
  [showlog]
 

  牛仔IIS日志蜘蛛爬行记录分析器 茄咧啡修改版
日期 引擎

[copy]

’;
}
function pagehtml()//============显示模板,标签代替显示内容!
{
 return  ’



[title]蜘蛛爬行分析 - [htmltitle]




 
 
 
  
  
 
 
  
  
  
  
 
 [show]
 
  [page]
 
返回日志目录 | dj965
  

  [title]蜘蛛爬行分析
本日志[title]蜘蛛共爬行 [count] 次,其中正常 [t] 个,死链 [y] 个,缓存 [h] 个
时间 蜘蛛IP 被爬URL 爬行结果

[copy]

’;
}
function mycopy()
{
 return ’
 
  
 
 
  
 
 
  
注备说明

  

 正常:表示该面页蜘蛛访问正常,并已经下载。爬行状态返回200。


  

 死链:表示蜘蛛访问的面页不存在或链接错误,爬行状态返回404。


  

 缓存:表示蜘蛛之前已经爬过的面页且该面页未更新过,蜘蛛缓存区已存在该文件,不再下载该面页内容。爬行状态返回304。


  

 注意:蜘蛛爬过的面页不一定会放出来,因为蜘蛛爬回去的数据须经过引擎规则筛选后才会放出来,至于详细请查看引擎收录帮助。


  

  

 程序名称:牛仔IIS日志蜘蛛爬行记录分析器 - 茄咧啡修改版 修改者:茄咧啡

 
  

*******************************************************


  

 原程序名称:牛仔IIS日志蜘蛛爬行记录分析器

 
  

 原作者:牛仔


  

 QQ:172379201


  

 Email:17gd$163.com ($转换@)


  

 注意:本程序只供大家学习使用,请勿用作商业用途。


 
’;
}
?>



声明:
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn