首頁 >後端開發 >php教程 >如何样阻止不友好的搜索引擎机器人蜘蛛爬虫

如何样阻止不友好的搜索引擎机器人蜘蛛爬虫

WBOY
WBOY原創
2016-06-13 11:19:08909瀏覽

怎么样阻止不友好的搜索引擎机器人蜘蛛爬虫?
今天在服务器上面发现,MYSQL流量很高。然后查看一下日志,发现一个不友好的蜘蛛爬虫,看了一下时间 一秒钟访问页面7,8次,而且访问的是网站的整站收索页面。就是不听的查询数据库。
我想问一下大家遇到这类的问题,如何防范? 现在我已经静止了这个IP地址


------解决方案--------------------
没有什么好方法。你可以观察哪些ip访问频繁,有嫌疑的就禁封。

程序当中,你可以设置同一个ip两次访问的间隔时间。
陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn