Maison >développement back-end >tutoriel php >搜索引擎spider整理_PHP教程

搜索引擎spider整理_PHP教程

WBOY
WBOYoriginal
2016-07-21 14:55:521063parcourir

百度

百度的spider的user agent都会包含 Baiduspider 字符串。

相关资料:http://www.baidu.com/search/spider.htm

google

google的spider的user agent都会包含 Googlebot 字符串。

相关资料:http://www.google.com/bot.html

soso

soso的spider的user agent都会包含 Sosospider 字符串

相关资料:http://help.soso.com/webspider.htm

sogou

sogou的spider的user agent都会包含 Sogou web spider 字符串

相关资料:http://www.sogou.com/docs/help/webmasters.htm#07

其他的也都差不多。。。可以自行查看下网站的access log。

如何通过php程序控制 spider 的行为?

通过 $_SERVER["HTTP_USER_AGENT"] 获取来访者的 user agent,然后判断是否含有相应的搜索引擎spider的特定字符串,再采取后续动作就可以了。

$user_agent = $_SERVER["HTTP_USER_AGENT"];

if ( eregi("Googlebot",$user_agent) )
{
// is google's spider access, you can do something for it~
}
?>

www.bkjia.comtruehttp://www.bkjia.com/PHPjc/364382.htmlTechArticle百度 百度的spider的user agent都会包含 Baiduspider 字符串。 相关资料:http://www.baidu.com/search/spider.htm google google的spider的user agent都会包含 Googl...
Déclaration:
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn