Heim >php教程 >php手册 >Robots.text文件 引导搜索引擎收录网站

Robots.text文件 引导搜索引擎收录网站

WBOY
WBOYOriginal
2016-06-06 20:01:321290Durchsuche

在网站根目录下还可以创建 robots.txt 文件,来引导搜索引擎收录网站。 Google 蜘蛛 GoogleBot BaiDu 蜘蛛 Baiduspider MSN 蜘蛛 MSNBOT robots.txt 写作语法 允许所有的 robot 访问 User-agent: * Disallow: 或者 User-agent: * Allow: 或者也可以建一个空

在网站根目录下还可以创建robots.txt文件,来引导搜索引擎收录网站。

 

Google蜘蛛 GoogleBot

BaiDu蜘蛛 Baiduspider

MSN蜘蛛 MSNBOT

 

robots.txt写作语法

允许所有的robot访问

User-agent: *
Disallow:

或者

User-agent: *
Allow:

或者也可以建一个空文件 "/robots.txt" file

禁止所有搜索引擎访问网站的任何部分

User-agent: *
Disallow: /

禁止所有搜索引擎访问网站的几个部分(下例中的010203目录)

User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/

禁止某个搜索引擎的访问(下例中的BadBot

User-agent: BadBot
Disallow: /

只允许某个搜索引擎的访问(下例中的Crawler

User-agent: Crawler
Disallow:

User-agent: *
Disallow: /

Stellungnahme:
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Vorheriger Artikel:GridView 导入ExcelNächster Artikel:PHP urlencode详解