Heim  >  Artikel  >  Backend-Entwicklung  >  http网页内容 如何防止被批量抓取

http网页内容 如何防止被批量抓取

WBOY
WBOYOriginal
2016-06-06 20:46:201214Durchsuche

我现在有个网站 里面的一些重要内容被其它地方批量的抓取
并且还能实时的更新我的内容 有时候更新的速度还能比我正常页面加载显示的还快
求如何解决啊。
PS:内容主要是文字及少量图片,后台用PHP编写

回复内容:

我现在有个网站 里面的一些重要内容被其它地方批量的抓取
并且还能实时的更新我的内容 有时候更新的速度还能比我正常页面加载显示的还快
求如何解决啊。
PS:内容主要是文字及少量图片,后台用PHP编写

试试nginx:
1. ngx_http_limit_conn_module 可以用来限制单个IP的连接数
http://nginx.org/en/docs/http/ngx_http_limit_conn_module.html
2. ngx_http_limit_req_module 可以用来限制单个IP每秒请求数
http://nginx.org/en/docs/http/ngx_http_limit_req_module.html
3. nginx_limit_speed_module 可以用来对IP限速
https://github.com/yaoweibin/nginx_limit_speed_module

或者使用Nginx的fail2ban模块:http://www.fail2ban.org/wiki/index.php/Main_Page

除了上面还可以使用图片/URL防盗链

Stellungnahme:
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn