PythonクローラーPHPは訪問者とクローラーに異なるコンテンツを表示します

この方法は検索エンジンの一部の動作原則に違反し、さまざまな検索エンジンによって罰せられたり、Web サイトが削除されたりする可能性があると聞いたので、進取的な行為ではないことが確認されるまでこの処理を削除しました。引き続き使用できますが、自己責任で行ってください。
このブログのホームページとアーカイブ ページでは記事がリスト形式で表示され、訪問者がクリックして記事を展開した場合にのみ記事の内容が読み込まれます。記事のコンテンツ部分には大量のテキストと画像が含まれるため、Web ページをできるだけ早く訪問者に表示することで、多くの訪問者を維持することができます。
一般的に言えば、ウェブサイトのトップページは検索エンジンによって最もアクセスされるページであり、可能な限り使用されるべきです。検索エンジンにとって意味のあるコンテンツを表示することは可能ですが、記事が検索エンジンに表示される場合は、リスト形式では、訪問者や検索エンジンは記事のタイトル情報しか取得できません。記事の内容や要約（特に記事の最初の文）はSEOにとって非常に重要なので、このコンテンツを送信するように努めなければなりません。クローラーです。ユーザー エージェントを使用して、訪問者がクローラーであるかどうかを判断できます。そうである場合は、記事をリスト形式で表示します。次の PHP メソッドを使用して判断できます。クローラーかどうか:

コードをコピー コードは次のとおりです:

function is_crawler() {
$userAgent = strto lower($_SERVER['HTTP_USER_AGENT']);
$spiders = array(
) 'Googlebot', // Google クローラー
'Baiduspider', // Baidu クローラー
'Yahoo! Slurp', // Yahoo クローラー
'YodaoBot', // Youdao クローラー
'msnbot' // Bing クローラー
// その他複数クローラーキーワード
);
foreach ($spiders as $spider) {
$spider = strto lower($spider);
if (strpos($userAgent, $spider) !== false) {
}
}
return false;
}


これは私が使用する方法であり、各クローラーはコメントにアクセスすることで上位から下位にソートされ、次のメソッドを通じてクローラーと自然の人々に異なるコンテンツが表示されます。

上記では、Python クローラーのコンテンツを含む、Python クローラーの php が訪問者とクローラーにさまざまなコンテンツを表示する方法を紹介しました。PHP チュートリアルに興味のある友人にとって役立つことを願っています。