首页  >  文章  >  专题  >  什么是搜索引擎蜘蛛

什么是搜索引擎蜘蛛

青灯夜游
青灯夜游原创
2019-05-24 13:33:0415644浏览

搜索引擎蜘蛛是指:网络爬虫。网络爬虫是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。每个搜索引擎都有自己的蜘蛛,搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。

什么是搜索引擎蜘蛛

什么是搜索引擎蜘蛛?

搜索引擎蜘蛛简称网络爬虫(webcrawler),网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。

我们可以将互联网理解成一张巨大的“蜘蛛网”,而搜索引擎蜘蛛是类似实质的“机器人”。蜘蛛的主要任务就是在巨大的蜘蛛网(互联网)中浏览信息,然后把这些信息都抓取到搜索引擎的服务器上,然后建立索引库。就好比机器人浏览我们的网站,然后把内容保存到自己的电脑上。

每个搜索引擎都有自己的蜘蛛,搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。

国内各大搜索引擎蜘蛛名称:

百度:百度spider

谷歌:googlebot

搜狗:sogou spider

搜搜:Sosospider

360搜索:360Spider

有道:YodaoBot

雅虎:Yahoo Slurp

必应:msnbot

Msn:msnbot

以上是什么是搜索引擎蜘蛛的详细内容。更多信息请关注PHP中文网其他相关文章!

声明:
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关文章

查看更多