Heim > Artikel > Backend-Entwicklung > PHP implementiert die gemeinsame Nutzung von Suchmaschinen-Crawling-Code
Dieser Artikel stellt hauptsächlich den Implementierungscode von PHP zum Aufzeichnen von Suchmaschinen-Crawling-Datensätzen vor und stellt dann den Code von PHP vor, um die Crawling-Datensätze jedes Such-Spiders zu erhalten. Ich hoffe, er kann helfen Du.
Das Folgende ist der vollständige Code:
//记录搜索引擎爬行记录 $searchbot = get_naps_bot(); if ($searchbot) { $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); $url = $_SERVER['HTTP_REFERER']; $file = WEB_PATH.'robotslogs.txt'; $date = date('Y-m-d H:i:s'); $data = fopen($file,'a'); fwrite($data,"Time:$date robot:$searchbot URL:$tlc_thispage/r/n"); fclose($data); }
WEB_PATH ist der Stammverzeichnispfad der Definition unter index.PHP, was bedeutet, dass die Datei robotslogs.txt im abgelegt wird Stammverzeichnis.
Rufen Sie den Spider-Crawling-Datensatz über get_naps_bot() ab, verarbeiten Sie ihn dann über Addslashes und speichern Sie die Daten in der Variablen $tlc_thispage.
fopen öffnet die Datei robotslogs.txt, schreibt die Daten über die Funktion fwrite und schließt sie über die Funktion fclose.
Da ich es für unnötig hielt, habe ich den Code auf meiner Website gelöscht, sodass es keine Beispiele für den Effekt gibt.
PS: PHP-Code zum Abrufen der Crawling-Datensätze jedes Such-Spiders
Unterstützt die folgenden Suchmaschinen: Baidu, Google, Bing, Yahoo, Soso, Sogou, Yodao Crawling-Website-Datensätze
Code:
<?php /** * 获取搜索引擎爬行记录 * edit by www.jb51.net */ function get_naps_bot() { $useragent = strtolower($_SERVER['HTTP_USER_AGENT']); if (strpos($useragent, 'googlebot') !== false){ return 'Google'; } if (strpos($useragent, 'baiduspider') !== false){ return 'Baidu'; } if (strpos($useragent, 'msnbot') !== false){ return 'Bing'; } if (strpos($useragent, 'slurp') !== false){ return 'Yahoo'; } if (strpos($useragent, 'sosospider') !== false){ return 'Soso'; } if (strpos($useragent, 'sogou spider') !== false){ return 'Sogou'; } if (strpos($useragent, 'yodaobot') !== false){ return 'Yodao'; } return false; } function nowtime(){ $date=date("Y-m-d.G:i:s"); return $date; } $searchbot = get_naps_bot(); if ($searchbot) { $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); $url=$_SERVER['HTTP_REFERER']; $file="www.jb51.net.txt"; $time=nowtime(); $data=fopen($file,"a"); fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n"); fclose($data); } ?>
Verwandte Empfehlungen:
jQuery Jsonp domänenübergreifende Simulation von Suchmaschinen-Instanzfreigaben
Detaillierte Erklärung, wie PHP bestehende Suchmaschinen aufruft
Das obige ist der detaillierte Inhalt vonPHP implementiert die gemeinsame Nutzung von Suchmaschinen-Crawling-Code. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!