首頁  >  文章  >  運維  >  Nginx中設定過濾爬蟲的User-Agent方法

Nginx中設定過濾爬蟲的User-Agent方法

王林
王林轉載
2023-05-27 08:46:151938瀏覽

Nginx中設定過濾爬蟲的User-Agent方法

一看不得了,基本上都是被一個user agent叫"yisouspider"的東西給刷屏了,一看就不知道是哪的蜘蛛,太沒節操了。
找到根目錄配置區,增加user agent過濾判斷語句,發現叫"yisouspider"的直接回傳403

註1:如果需要增加多個過濾,這樣做

 ($http_user_agent ~* "spider1|spider2|spider3|spider4")

,中間用|隔開就行了

註2:如果你是用的是子目錄博客,像我的一樣,那麼要找到"location /blog/" 這樣的區段去修改

location / {
......其它配置
if ($http_user_agent ~* "yisouspider") {
return 403;
}
}

設定完成wq儲存後reload一下nginx,然後使用以下指令自我測試,位址自己改。沒裝curl的我就沒辦法了,自己apt或yum裝一個吧,神器來的。

curl -i -a "yisouspider" www.slyar.com/blog/

看到回傳403就可以了,表示設定成功

Nginx中設定過濾爬蟲的User-Agent方法

#

以上是Nginx中設定過濾爬蟲的User-Agent方法的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文轉載於:yisu.com。如有侵權,請聯絡admin@php.cn刪除