首頁 >後端開發 >php教程 >http网页内容 如何防止被批量抓取

http网页内容 如何防止被批量抓取

WBOY
WBOY原創
2016-06-06 20:46:201233瀏覽

我现在有个网站 里面的一些重要内容被其它地方批量的抓取
并且还能实时的更新我的内容 有时候更新的速度还能比我正常页面加载显示的还快
求如何解决啊。
PS:内容主要是文字及少量图片,后台用PHP编写

回复内容:

我现在有个网站 里面的一些重要内容被其它地方批量的抓取
并且还能实时的更新我的内容 有时候更新的速度还能比我正常页面加载显示的还快
求如何解决啊。
PS:内容主要是文字及少量图片,后台用PHP编写

试试nginx:
1. ngx_http_limit_conn_module 可以用来限制单个IP的连接数
http://nginx.org/en/docs/http/ngx_http_limit_conn_module.html
2. ngx_http_limit_req_module 可以用来限制单个IP每秒请求数
http://nginx.org/en/docs/http/ngx_http_limit_req_module.html
3. nginx_limit_speed_module 可以用来对IP限速
https://github.com/yaoweibin/nginx_limit_speed_module

或者使用Nginx的fail2ban模块:http://www.fail2ban.org/wiki/index.php/Main_Page

除了上面还可以使用图片/URL防盗链

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn