在nginx中将特定用户代理列入黑名单
要配置用户代理阻挡列表,请打开你的网站的nginx配置文件,找到server定义部分。该文件可能会放在不同的地方,这取决于你的nginx配置或linux版本(如,/etc/nginx/nginx.conf,/etc/nginx/sites-enabled/a3f066d3f5c073856f43e2c12253351a,/usr/local/nginx/conf/nginx.conf,/etc/nginx/conf.d/a3f066d3f5c073856f43e2c12253351a)。
复制代码 代码如下:
server {
listen 80 default_server;
server_name xmodulo.com;
root /usr/share/nginx/html;
....
}
在打开该配置文件并找到 server 部分后,添加以下 if 声明到该部分内的某个地方。
复制代码 代码如下:
server {
listen 80 default_server;
server_name xmodulo.com;
root /usr/share/nginx/html;
# 大小写敏感的匹配
if ($http_user_agent ~ (antivirx|arian) {
return 403;
}
#大小写无关的匹配
复制代码 代码如下:
if ($http_user_agent ~* (netcrawl|npbot|malicious)) {
return 403;
}
....
}
如你所想,这些 if 声明使用正则表达式匹配了任意不良用户字符串,并向匹配的对象返回403 http状态码。 $http_user_agent是http请求中的一个包含有用户代理字符串的变量。‘~'操作符针对用户代理字符串进行大小写敏感匹配,而‘~*'操作符则进行大小写无关匹配。‘|'操作符是逻辑或,因此,你可以在 if 声明中放入众多的用户代理关键字,然后将它们全部阻挡掉。
在修改配置文件后,你必须重新加载nginx以激活阻挡:
$ sudo /path/to/nginx -s reload
你可以通过使用带有 “--user-agent” 选项的 wget 测试用户代理阻挡。
$ wget --user-agent "malicious bot" http://<nginx-ip-address>
管理nginx中的用户代理黑名单
目前为止,我已经展示了在nginx中如何阻挡一些用户代理的http请求。如果你有许多不同类型的网络爬虫机器人要阻挡,又该怎么办呢?
由于用户代理黑名单会增长得很大,所以将它们放在nginx的server部分不是个好点子。取而代之的是,你可以创建一个独立的文件,在该文件中列出所有被阻挡的用户代理。例如,让我们创建/etc/nginx/useragent.rules,并定义以下面的格式定义所有被阻挡的用户代理的图谱。
$ sudo vi /etc/nginx/useragent.rules
复制代码 代码如下:
map $http_user_agent $badagent {
default 0;
~*malicious 1;
~*backdoor 1;
~*netcrawler 1;
~antivirx 1;
~arian 1;
~webbandit 1;
}
与先前的配置类似,‘~*'将匹配以大小写不敏感的方式匹配关键字,而‘~'将使用大小写敏感的正则表达式匹配关键字。“default 0”行所表达的意思是,任何其它文件中未被列出的用户代理将被允许。
接下来,打开你的网站的nginx配置文件,找到里面包含 http 的部分,然后添加以下行到 http 部分某个位置。
复制代码 代码如下:
http {
.....
include /etc/nginx/useragent.rules
}
注意,该 include 声明必须出现在 server 部分之前(这就是为什么我们将它添加到了 http 部分里)。
现在,打开nginx配置定义你的服务器的部分,添加以下 if 声明:
复制代码 代码如下:
server {
....
if ($badagent) {
return 403;
}
....
}
最后,重新加载nginx。
$ sudo /path/to/nginx -s reload
现在,任何包含有/etc/nginx/useragent.rules中列出的关键字的用户代理将被nginx自动禁止。
以上是在Nginx中怎么拦截特定用户代理的详细内容。更多信息请关注PHP中文网其他相关文章!