一看不得了,基本上都是被一个user agent叫"yisouspider"的东西给刷屏了,一看就不知道是哪的蜘蛛,太没节操了。
找到根目录配置区,增加user agent过滤判断语句,发现叫"yisouspider"的直接返回403
注1:如果需要增加多个过滤,这样做
($http_user_agent ~* "spider1|spider2|spider3|spider4")
,中间用|隔开就行了
注2:如果你是用的是子目录博客,像我的一样,那么要找到 "location /blog/" 这样的区段去修改
location / { ......其它配置 if ($http_user_agent ~* "yisouspider") { return 403; } }
配置完成wq保存后reload一下nginx,然后使用以下命令自我测试,地址自己改。没装curl的我就没办法了,自己apt或者yum装一个吧,神器来的。
curl -i -a "yisouspider" www.slyar.com/blog/
看到返回403就可以了,说明配置成功
以上是Nginx中配置过滤爬虫的User-Agent方法的详细内容。更多信息请关注PHP中文网其他相关文章!