Heim  >  Artikel  >  Backend-Entwicklung  >  PHP implementiert die gemeinsame Nutzung von Suchmaschinen-Crawling-Code

PHP implementiert die gemeinsame Nutzung von Suchmaschinen-Crawling-Code

小云云
小云云Original
2018-03-03 09:28:511640Durchsuche

Dieser Artikel stellt hauptsächlich den Implementierungscode von PHP zum Aufzeichnen von Suchmaschinen-Crawling-Datensätzen vor und stellt dann den Code von PHP vor, um die Crawling-Datensätze jedes Such-Spiders zu erhalten. Ich hoffe, er kann helfen Du.

Das Folgende ist der vollständige Code:

//记录搜索引擎爬行记录 $searchbot = get_naps_bot(); 
if ($searchbot) 
{ $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); 
$url = $_SERVER['HTTP_REFERER']; 
$file = WEB_PATH.'robotslogs.txt'; 
$date = date('Y-m-d H:i:s'); 
$data = fopen($file,'a'); 
fwrite($data,"Time:$date robot:$searchbot URL:$tlc_thispage/r/n"); 
fclose($data);
}

WEB_PATH ist der Stammverzeichnispfad der Definition unter index.PHP, was bedeutet, dass die Datei robotslogs.txt im abgelegt wird Stammverzeichnis.

Rufen Sie den Spider-Crawling-Datensatz über get_naps_bot() ab, verarbeiten Sie ihn dann über Addslashes und speichern Sie die Daten in der Variablen $tlc_thispage.

fopen öffnet die Datei robotslogs.txt, schreibt die Daten über die Funktion fwrite und schließt sie über die Funktion fclose.

Da ich es für unnötig hielt, habe ich den Code auf meiner Website gelöscht, sodass es keine Beispiele für den Effekt gibt.

PS: PHP-Code zum Abrufen der Crawling-Datensätze jedes Such-Spiders

Unterstützt die folgenden Suchmaschinen: Baidu, Google, Bing, Yahoo, Soso, Sogou, Yodao Crawling-Website-Datensätze

Code:

<?php 
/**
* 获取搜索引擎爬行记录
* edit by www.jb51.net
*/
function get_naps_bot() 
{ 
$useragent = strtolower($_SERVER[&#39;HTTP_USER_AGENT&#39;]); 
if (strpos($useragent, &#39;googlebot&#39;) !== false){ 
return &#39;Google&#39;; 
} 
if (strpos($useragent, &#39;baiduspider&#39;) !== false){ 
return &#39;Baidu&#39;; 
} 
if (strpos($useragent, &#39;msnbot&#39;) !== false){ 
return &#39;Bing&#39;; 
} 
if (strpos($useragent, &#39;slurp&#39;) !== false){ 
return &#39;Yahoo&#39;; 
} 
if (strpos($useragent, &#39;sosospider&#39;) !== false){ 
return &#39;Soso&#39;; 
} 
if (strpos($useragent, &#39;sogou spider&#39;) !== false){ 
return &#39;Sogou&#39;; 
} 
if (strpos($useragent, &#39;yodaobot&#39;) !== false){ 
return &#39;Yodao&#39;; 
} 
return false; 
} 
function nowtime(){ 
$date=date("Y-m-d.G:i:s"); 
return $date; 
} 
$searchbot = get_naps_bot(); 
if ($searchbot) { 
$tlc_thispage = addslashes($_SERVER[&#39;HTTP_USER_AGENT&#39;]); 
$url=$_SERVER[&#39;HTTP_REFERER&#39;]; 
$file="www.jb51.net.txt"; 
$time=nowtime(); 
$data=fopen($file,"a"); 
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n"); 
fclose($data); 
} 
?>

Verwandte Empfehlungen:

jQuery Jsonp domänenübergreifende Simulation von Suchmaschinen-Instanzfreigaben

Detaillierte Erklärung, wie PHP bestehende Suchmaschinen aufruft

Beispielcode-Sharing zum Umschalten des Navigations-Websuchfelds von Suchmaschinen mithilfe von JavaScript

Das obige ist der detaillierte Inhalt vonPHP implementiert die gemeinsame Nutzung von Suchmaschinen-Crawling-Code. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Stellungnahme:
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn