PHP コードにより検索エンジンのスパイダー ソリューションが禁止される

PHP コードは検索エンジンのスパイダーを禁止します
実際、robots.txt はウェブサイトのスパイダーのクロールを 100% 防ぐことはできません。いくつかの情報に基づいて、この問題を完全に解決できると思われる小さなコードを書きました。間違っていたら教えてください:

PHP コード

<!--

Code highlighting produced by Actipro CodeHighlighter (freeware)
http://www.CodeHighlighter.com/

-->
if(preg_match("/(Googlebot|Msnbot|YodaoBot|Sosospider|baiduspider|google|baidu|yahoo|sogou|bing|coodir|soso|youdao|zhongsou|slurp|ia_archiver|scooter|spider|webcrawler|OutfoxBot)/i", $_SERVER['HTTP_USER_AGENT']))
{

    header('HTTP/1.1 403 Forbidden');
    exit;
}

-----解決策-------- -------- ---
LZ の考えは理解できますが、このテキストはすべてのファイルに含めるべきですか、それともホームページに含めるべきですか?
------解決策---------
これはトリックです
------解決策----------------------
分かりました、マスター・ミエジエ
------解決策-----
いいですね!!!
でもなぜ?それを防ぐには、より多くのスパイダーがサイトをクロールした方が、検索エンジンがあなたのサイトを含めて宣伝しやすくなると思いませんか?
------解決策---------

話し合う

悪くない!!!
でも、なぜそれを止めたいのですか?クモがもっと這い回れば、検索エンジンがあなたのサイトを含めて宣伝しやすくなると思いませんか?

------解決策---------

話し合う

電子メール アドレス、電話番号、名前、その他の情報など、検索エンジンに含められたくないものもあります

------解決策------------------
この方法で防げるのは「友好的な」クモです。もちろん、これらの「フレンドリーなスパイダー」は robots.txt の指示を完全に尊重していない可能性がありますが、少なくとも「私は XX スパイダーです」ということは伝えられます。

非友好的なクモの場合、この判定は無効となります。