今回はphpレコード検索インデックスエンジンのクローリング処理方法について詳しく説明します。 phpレコード検索エンジンのクローリング処理における注意点とは何ですか。実際の事例を見てみましょう。
以下は完全なコードです://记录搜索引擎爬行记录 $searchbot = get_naps_bot(); if ($searchbot) { $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); $url = $_SERVER['HTTP_REFERER']; $file = WEB_PATH.'robotslogs.txt'; $date = date('Y-m-d H:i:s'); $data = fopen($file,'a'); fwrite($data,"Time:$date robot:$searchbot URL:$tlc_thispage/r/n"); fclose($data); }WEB_PATH は、index.PHP の下にある定義のルート ディレクトリ パスです。これは、robotslogs.txt ファイルがルート ディレクトリに配置されることを意味します。
を通じてスパイダー クローリング レコードを取得し、addslashes を通してそれを処理し、get_naps_bot()
変数 $tlc_thispage にデータを保存します。
追記: 各検索スパイダーのクローリング記録を取得するための php コード
次の検索エンジンをサポートしています: Baidu、Google、Bing、Yahoo、Soso、Sogou、Yodao のウェブサイトの記録 コード:<?php /** * 获取搜索引擎爬行记录 * edit by www.jb51.net */ function get_naps_bot() { $useragent = strtolower($_SERVER['HTTP_USER_AGENT']); if (strpos($useragent, 'googlebot') !== false){ return 'Google'; } if (strpos($useragent, 'baiduspider') !== false){ return 'Baidu'; } if (strpos($useragent, 'msnbot') !== false){ return 'Bing'; } if (strpos($useragent, 'slurp') !== false){ return 'Yahoo'; } if (strpos($useragent, 'sosospider') !== false){ return 'Soso'; } if (strpos($useragent, 'sogou spider') !== false){ return 'Sogou'; } if (strpos($useragent, 'yodaobot') !== false){ return 'Yodao'; } return false; } function nowtime(){ $date=date("Y-m-d.G:i:s"); return $date; } $searchbot = get_naps_bot(); if ($searchbot) { $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); $url=$_SERVER['HTTP_REFERER']; $file="www.jb51.net.txt"; $time=nowtime(); $data=fopen($file,"a"); fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n"); fclose($data); } ?>! この記事の事例を読んだ後は、この方法を習得したと思います。さらに興味深い情報については、PHP 中国語 Web サイトの他の関連記事に注目してください。 推奨読書:
php がローカル json ファイルを読み取るメソッドとは何ですか?
php が json オブジェクトの値を出力するメソッドとは何ですか?
以上がPHPで検索エンジンのクローリング処理を記録する方法を詳しく解説の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。