如果想禁止搜索引擎访问本站的一切目录和一切文件,那么是需要在目录建立一个robots.txt文件是吗?内容怎么写?
User-agent:
Disallow: /
User-agent:
Disallow: /
请问这样设置以后,连首页(根目录index.php)的内容也不会被收录了吧?
建议你看一下这篇文章 http://baike.baidu.com/view/9274458.htm?fromId=1280732
建议你看一下这篇文章 http://baike.baidu.com/view/9274458.htm?fromId=1280732
好的,谢谢!