php - laravel5.4フレームワークにアクセスすると、BaiduとGoogleのクローラーが403を返します

Question

csrf 検証は終了し、get、post アクセスが許可されます。ウェブサイトには通常通りアクセスできます。サーバーにはセキュリティソフトは一切使用しておりません。ファイアウォールは IP アドレスを制限しません。関連する問題に遭遇した人はいますか?

Answer 1

public の下に robots.txt ファイルがあり、これはクローラーがクロールできるかどうかを制御するためのものです。