首页 > 问答 > 正文
测试环境被百度快照抓了
怎么去掉呢
怎么不被百度快照抓住
求大神指教
ringa_lee2017-07-04 13:48:05
先找百度提交删除申请
然后测试环境记得加 robots.txt 不给抓取,或者在 nginx 上 直接拒绝 来自蜘蛛的请求.
robots.txt
nginx
为情所困2017-07-04 13:48:05
robots封禁就可以了,加上 robots.txt 就行了,禁止全部的搜索引擎抓取:
User-agent:* Disallow:/
已经收录的快照,除非你的内容已经删除或者改变了,申请删除或更新快照才有用。robots规则生效有点慢,你可以自己在百度站长工具更新一下:百度站长平台