Home  >  Article  >  Backend Development  >  如何样阻止不友好的搜索引擎机器人蜘蛛爬虫

如何样阻止不友好的搜索引擎机器人蜘蛛爬虫

WBOY
WBOYOriginal
2016-06-13 11:19:08884browse

怎么样阻止不友好的搜索引擎机器人蜘蛛爬虫?
今天在服务器上面发现,MYSQL流量很高。然后查看一下日志,发现一个不友好的蜘蛛爬虫,看了一下时间 一秒钟访问页面7,8次,而且访问的是网站的整站收索页面。就是不听的查询数据库。
我想问一下大家遇到这类的问题,如何防范? 现在我已经静止了这个IP地址


------解决方案--------------------
没有什么好方法。你可以观察哪些ip访问频繁,有嫌疑的就禁封。

程序当中,你可以设置同一个ip两次访问的间隔时间。
Statement:
The content of this article is voluntarily contributed by netizens, and the copyright belongs to the original author. This site does not assume corresponding legal responsibility. If you find any content suspected of plagiarism or infringement, please contact admin@php.cn