首页  >  文章  >  运维  >  Nginx中配置过滤爬虫的User-Agent方法

Nginx中配置过滤爬虫的User-Agent方法

王林
王林转载
2023-05-27 08:46:151931浏览

Nginx中配置过滤爬虫的User-Agent方法

一看不得了,基本上都是被一个user agent叫"yisouspider"的东西给刷屏了,一看就不知道是哪的蜘蛛,太没节操了。
找到根目录配置区,增加user agent过滤判断语句,发现叫"yisouspider"的直接返回403

注1:如果需要增加多个过滤,这样做

 ($http_user_agent ~* "spider1|spider2|spider3|spider4")

,中间用|隔开就行了

注2:如果你是用的是子目录博客,像我的一样,那么要找到 "location /blog/" 这样的区段去修改

location / {
......其它配置
if ($http_user_agent ~* "yisouspider") {
return 403;
}
}

配置完成wq保存后reload一下nginx,然后使用以下命令自我测试,地址自己改。没装curl的我就没办法了,自己apt或者yum装一个吧,神器来的。

curl -i -a "yisouspider" www.slyar.com/blog/

看到返回403就可以了,说明配置成功

Nginx中配置过滤爬虫的User-Agent方法

以上是Nginx中配置过滤爬虫的User-Agent方法的详细内容。更多信息请关注PHP中文网其他相关文章!

声明:
本文转载于:yisu.com。如有侵权,请联系admin@php.cn删除