ホームページ  >  記事  >  運用・保守  >  Nginx でクローラをフィルタリングするユーザー エージェント方式の構成

Nginx でクローラをフィルタリングするユーザー エージェント方式の構成

王林
王林転載
2023-05-27 08:46:151829ブラウズ

Nginx でクローラをフィルタリングするユーザー エージェント方式の構成

見にくいですが、要するに「yisouspider」というユーザーエージェントが画面をスワイプしたものです。一見するとどこから来たスパイダーなのかわかりません。とても恥知らずです。
ルート ディレクトリ設定領域を見つけて、ユーザー エージェント フィルター判定ステートメントを追加し、「yisouspider」というステートメントが直接 403 を返すことを確認します。

注 1: 複数のフィルターを追加する必要がある場合は、次のようにします。

 ($http_user_agent ~* "spider1|spider2|spider3|spider4")

、 |

で区切ってください。 注 2: 私のブログのようにサブディレクトリ ブログを使用している場合は、「location /blog/」のようなセクションを見つけて変更する必要があります。

location / {
......其它配置
if ($http_user_agent ~* "yisouspider") {
return 403;
}
}

設定を完了して wq を保存した後、nginx をリロードし、次のコマンドを使用してテストし、アドレスを自分で変更します。 curl がインストールされていない場合は、apt か yum を使って自分でインストールするしかありません。魔法のツールが付属しています。

curl -i -a "yisouspider" www.slyar.com/blog/

構成が成功したことを示す 403 が返されたことを確認してください。

Nginx でクローラをフィルタリングするユーザー エージェント方式の構成

以上がNginx でクローラをフィルタリングするユーザー エージェント方式の構成の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明:
この記事はyisu.comで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。