Robots.text文件 引导搜索引擎收录网站
- WBOYOriginal
- 2016-06-06 20:01:321283browse
在网站根目录下还可以创建 robots.txt 文件，来引导搜索引擎收录网站。 Google 蜘蛛 GoogleBot BaiDu 蜘蛛 Baiduspider MSN 蜘蛛 MSNBOT robots.txt 写作语法 允许所有的 robot 访问 User-agent: * Disallow: 或者 User-agent: * Allow: 或者也可以建一个空
在网站根目录下还可以创建robots.txt文件，来引导搜索引擎收录网站。
Google蜘蛛 GoogleBot
BaiDu蜘蛛 Baiduspider
MSN蜘蛛 MSNBOT
robots.txt写作语法
允许所有的robot访问
User-agent: *
Disallow:
或者
User-agent: *
Allow:
或者也可以建一个空文件 "/robots.txt" file
禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录）
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
禁止某个搜索引擎的访问（下例中的BadBot）
User-agent: BadBot
Disallow: /
只允许某个搜索引擎的访问（下例中的Crawler）
User-agent: Crawler
Disallow:
User-agent: *
Disallow: /
Statement：
The content of this article is voluntarily contributed by netizens, and the copyright belongs to the original author. This site does not assume corresponding legal responsibility. If you find any content suspected of plagiarism or infringement, please contact admin@php.cn
Previous article：GridView 导入ExcelNext article：PHP urlencode详解