Cloudflare Worker实现智能地域重定向：Bot管理与爬虫豁免策略

本文探讨了如何利用Cloudflare Worker实现基于用户地理位置的内容重定向，同时确保搜索引擎爬虫能够正常访问全站内容。核心挑战在于正确识别并豁免合法爬虫。文章详细解释了request.cf.botManagement.verifiedBot属性的工作机制，揭示了其依赖于Cloudflare的付费Bot管理服务，并提供了实现此类重定向的Worker代码示例及重要注意事项，帮助开发者构建高效且对SEO友好的地域内容策略。

一、利用Cloudflare Worker实现地域内容重定向

在某些场景下，网站可能需要根据访问用户的地理位置提供不同的内容或限制其访问特定区域的内容。例如，一个全球性网站希望将来自美国的用户重定向到其专属的/us/路径下的页面，而其他国家的用户则访问通用内容。同时，为了不影响搜索引擎的抓取和索引，需要确保搜索引擎爬虫能够绕过这些地域限制，访问网站的所有页面。Cloudflare Worker凭借其在边缘网络执行代码的能力，为实现这种复杂的重定向逻辑提供了高效且灵活的解决方案。

以下是一个Cloudflare Worker的实现示例，它尝试根据用户的国家代码和访问路径来决定是否进行重定向，并试图通过识别“已验证的机器人”来豁免搜索引擎爬虫：

export default {
  async fetch(request) {
    // 获取访问者的国家代码。
    // 参考: https://developers.cloudflare.com/workers/runtime-apis/request/
    const visitorCountry = request.cf?.country;

    // 获取机器人管理状态，尝试判断请求是否为已验证的机器人。
    // 参考: https://developers.cloudflare.com/bots/reference/bot-management-variables/#workers-variables
    // 参考: https://radar.cloudflare.com/traffic/verified-bots
    const requestIsVerifiedBot = request?.cf?.botManagement?.verifiedBot;

    const requestUrl = new URL(request.url);
    // 检查请求的URL路径是否属于美国区域 (例如以 /us/ 或 /us/ 开头)。
    const requestUrlIsUs = requestUrl.pathname.match(/^\/us\/?$|^\/us\/.*$/i)?.length;

    // 如果访问者来自美国，并且他们正在访问非美国页面，并且他们不是一个已验证的机器人，则进行重定向。
    if (visitorCountry === 'US' && !requestUrlIsUs && !requestIsVerifiedBot) {
      // 执行301永久重定向到美国首页。
      return Response.redirect('https://example.com/us/', 301);
    }

    // 对于不符合重定向条件或已验证的机器人，继续处理请求。
    return fetch(request);
  }
}

上述代码的核心逻辑在于：

1. 获取请求的cf.country属性以判断访问者来源国家。
2. 获取请求的cf.botManagement.verifiedBot属性以判断是否为已验证的机器人。
3. 通过正则表达式判断请求的URL路径是否是美国区域的页面。
4. 当满足“美国用户”、“访问非美国页面”且“非已验证机器人”这三个条件时，执行301重定向。

二、request.cf.botManagement的陷阱与解决方案

在上述实现中，开发者可能会发现即使代码逻辑正确，搜索引擎爬虫仍然被重定向了，即request.cf.botManagement.verifiedBot属性似乎未能正确识别出这些爬虫。这通常是由于一个关键的配置缺失导致的。

问题根源：request.cf.botManagement对象及其内部属性（如verifiedBot）并非在所有Cloudflare账户中都默认提供真实数据。实际上，这些属性的有效性依赖于您的Cloudflare账户是否启用了Bot管理（Bot Management）功能。Bot管理是Cloudflare的一项付费增值服务。

尽管request.cf.botManagement属性即使在未订阅Bot管理服务的情况下也可能在Worker环境中出现，但此时它包含的是“哑值”（dummy values），即无论实际请求如何，其内容都是固定的或无效的。这是一个历史遗留问题，导致开发者在未开通服务时可能会误以为该功能可用。因此，如果您的Worker脚本中request.cf.botManagement.verifiedBot始终返回false或不符合预期，很可能就是因为Bot管理服务未启用。

解决方案： 要使request.cf.botManagement.verifiedBot属性能够准确识别搜索引擎爬虫等已验证的机器人，您需要：

1. 开通Cloudflare的Bot管理（Bot Management）服务。 这是一项付费功能，开通后，Cloudflare将能够更深入地分析请求，并提供更精确的机器人识别数据给Worker环境。

一旦Bot管理服务启用，request.cf.botManagement.verifiedBot将能够准确反映请求是否来自一个Cloudflare已验证的合法机器人（包括主流搜索引擎爬虫），从而允许您的Worker代码正确地豁免它们，避免不必要的重定向，确保网站的SEO不受影响。

三、注意事项与总结

• 成本考量： Cloudflare的Bot管理是一项付费服务，在决定使用此功能前，请务必评估其成本效益。
• SEO影响： 错误的地域重定向或对搜索引擎爬虫的阻碍可能严重影响网站的搜索排名和可见性。务必确保您的重定向策略对爬虫友好。使用301（永久重定向）是标准做法，但要确保爬虫能够访问所有重要页面。
• 替代方案（有限）： 如果无法开通Bot管理服务，识别合法爬虫将变得更加困难且不那么可靠。您可以尝试检查User-Agent请求头，但这容易被伪造，且无法识别所有类型的合法爬虫。Cloudflare的默认安全设置（如WAF规则、托管挑战等）可能会在某些情况下自动处理已知恶意机器人，但它们通常不会将verifiedBot状态暴露给Worker。
• 测试与监控： 在生产环境中部署此类Worker之前，务必进行彻底的测试，包括模拟不同国家的用户访问和模拟搜索引擎爬虫访问，以确保重定向逻辑和爬虫豁免机制按预期工作。同时，持续监控网站的抓取情况，确保没有意外的SEO问题。

通过正确配置Cloudflare的Bot管理服务，并结合Cloudflare Worker的强大能力，您可以精确地实现复杂的地域内容分发和重定向策略，同时保护网站的搜索引擎可见性，为不同区域的用户提供最佳的访问体验。