Robots.text文件 引导搜索引擎收录网站
- WBOY原創
- 2016-06-06 20:01:321290瀏覽
在网站根目录下还可以创建 robots.txt 文件，来引导搜索引擎收录网站。 Google 蜘蛛 GoogleBot BaiDu 蜘蛛 Baiduspider MSN 蜘蛛 MSNBOT robots.txt 写作语法 允许所有的 robot 访问 User-agent: * Disallow: 或者 User-agent: * Allow: 或者也可以建一个空
在网站根目录下还可以创建robots.txt文件，来引导搜索引擎收录网站。
Google蜘蛛 GoogleBot
BaiDu蜘蛛 Baiduspider
MSN蜘蛛 MSNBOT
robots.txt写作语法
允许所有的robot访问
User-agent: *
Disallow:
或者
User-agent: *
Allow:
或者也可以建一个空文件 "/robots.txt" file
禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录）
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
禁止某个搜索引擎的访问（下例中的BadBot）
User-agent: BadBot
Disallow: /
只允许某个搜索引擎的访问（下例中的Crawler）
User-agent: Crawler
Disallow:
User-agent: *
Disallow: /
陳述：
本文內容由網友自願投稿，版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容，請聯絡admin@php.cn
上一篇：GridView 导入Excel下一篇：PHP urlencode详解