php - laravel5.4 프레임워크에 액세스할 때 Baidu 및 Google 크롤러가 403을 반환합니다.

Question

닫혀있습니다csrf验证，并且允许get、post접속. 홈페이지는 정상적으로 접속 가능합니다. 서버는 보안 소프트웨어를 사용하지 않습니다. 방화벽은 IP 주소를 제한하지 않습니다. 관련된 문제를 겪은 사람이 있나요?

Answer 1

공개 아래에 robots.txt 파일이 어떻게 설정되어 있는지 확인할 수 있습니다. 이는 크롤러가 크롤링할 수 있는지 여부를 제어하기 위한 것입니다.