>  기사  >  백엔드 개발  >  http网页内容 如何防止被批量抓取

http网页内容 如何防止被批量抓取

WBOY
WBOY원래의
2016-06-06 20:46:201214검색

我现在有个网站 里面的一些重要内容被其它地方批量的抓取
并且还能实时的更新我的内容 有时候更新的速度还能比我正常页面加载显示的还快
求如何解决啊。
PS:内容主要是文字及少量图片,后台用PHP编写

回复内容:

我现在有个网站 里面的一些重要内容被其它地方批量的抓取
并且还能实时的更新我的内容 有时候更新的速度还能比我正常页面加载显示的还快
求如何解决啊。
PS:内容主要是文字及少量图片,后台用PHP编写

试试nginx:
1. ngx_http_limit_conn_module 可以用来限制单个IP的连接数
http://nginx.org/en/docs/http/ngx_http_limit_conn_module.html
2. ngx_http_limit_req_module 可以用来限制单个IP每秒请求数
http://nginx.org/en/docs/http/ngx_http_limit_req_module.html
3. nginx_limit_speed_module 可以用来对IP限速
https://github.com/yaoweibin/nginx_limit_speed_module

或者使用Nginx的fail2ban模块:http://www.fail2ban.org/wiki/index.php/Main_Page

除了上面还可以使用图片/URL防盗链

성명:
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.