一看不得了,基本上都是被一個user agent叫"yisouspider"的東西給刷屏了,一看就不知道是哪的蜘蛛,太沒節操了。
找到根目錄配置區,增加user agent過濾判斷語句,發現叫"yisouspider"的直接回傳403
註1:如果需要增加多個過濾,這樣做
($http_user_agent ~* "spider1|spider2|spider3|spider4")
,中間用|隔開就行了
註2:如果你是用的是子目錄博客,像我的一樣,那麼要找到"location /blog/" 這樣的區段去修改
location / { ......其它配置 if ($http_user_agent ~* "yisouspider") { return 403; } }
設定完成wq儲存後reload一下nginx,然後使用以下指令自我測試,位址自己改。沒裝curl的我就沒辦法了,自己apt或yum裝一個吧,神器來的。
curl -i -a "yisouspider" www.slyar.com/blog/
看到回傳403就可以了,表示設定成功
以上是Nginx中設定過濾爬蟲的User-Agent方法的詳細內容。更多資訊請關注PHP中文網其他相關文章!