首页  >  问答  >  正文

php - 百度、谷歌爬虫访问laravel5.4框架返回403

已关闭csrf验证,并且允许getpost访问。网站能正常访问。服务器没用任何安全软件。防火墙没限制任何ip。有遇到相关问题的小伙伴么?

给我你的怀抱给我你的怀抱2714 天前689

全部回复(1)我来回复

  • 天蓬老师

    天蓬老师2017-06-06 09:55:45

    public 下有个 robots.txt 文件,你看看是怎么设置的,这个就是控制爬虫能不能抓取的。

    回复
    0
  • 取消回复