https重定向配置不当会导致爬虫抓取失败、索引断崖下跌；需分场景使用301（页面类）与307/308（api类），杜绝长链跳转、证书不匹配及robots.txt/canonical未同步。
HTTPS 重定向本身不会阻止搜索引擎收录，但配置不当会直接导致爬虫抓取失败、索引量断崖下跌——问题不在“有没有 HTTPS”，而在“怎么跳”。
301 跳转不是万能钥匙，用错就丢权重
全局 301 强制跳转看似简单，实则风险集中：
- 把所有请求（包括 POST 表单、API 接口）都转成 GET，后端收不到数据，返回 400；爬虫反复失败后放弃抓取
- 若跳转链过长（比如 HTTP → HTTPS → www → 去斜杠），超过 5 次，谷歌直接终止抓取，百度可能报 “Too Many Redirects” 并清空索引
- 跳转目标域名与 SSL 证书不匹配（如证书只含 example.com，却跳到 www.example.com），爬虫握手失败，返回 502/SSL_ERROR_BAD_CERT_DOMAIN
正确跳转要分场景，不能一刀切
页面类请求（HTML）适合 301，但非页面类必须区别对待：
- 对 /api/、/login、/upload 等接口路径，禁用全局 301；可用 if 判断路径后 return 307 或 308（保留方法和 body）
- Nginx 示例：
location ^~ /api/ { return 307 https://$host$request_uri; } - 统一规范入口：只保留一条权威路径，例如 https://www.example.com，其余（HTTP、无 www、带尾斜杠等）全部 301 跳入，中间不中转
配套设置没跟上，HTTPS 反而帮倒忙
只做跳转，忽略关联配置，等于给爬虫设路障：
- robots.txt 必须放在 HTTPS 根目录下，且内容指向 HTTPS 版本的 sitemap.xml；HTTP 版本的 robots.txt 若仍允许抓取，会造成重复内容冲突
- canonical 标签 要写 HTTPS 地址，否则页面被识别为多个副本，权重分散
- CDN 或 WAF 开启 HTTPS 后，若未同步上传完整证书链，百度蜘蛛易超时失败；建议用 SSL Checker 验证目标 URL 的证书覆盖范围与链完整性
静态资源直出+缓存策略影响抓取效率
爬虫是否愿意多抓、快抓，取决于响应质量：
- 确保 CSS/JS/图片等静态文件由 Nginx 直出，不要误配 proxy_pass 或 fastcgi_pass 导致额外转发
- 开启 Gzip/Brotli 压缩，减小 HTML 和 JS 体积，缩短传输时间
- 对字体、图片、CSS/JS 设置强缓存：
expires 1y;+Cache-Control "public, immutable, max-age=31536000"，降低爬虫重复请求频次
