如何在 Go 中安全地请求 Reddit 页面并避免被限流-Golang-PHP中文网

如何在 Go 中安全地请求 Reddit 页面并避免被限流

本文详解如何在 go 中通过设置合理的请求间隔、user-agent 和超时机制，合法、稳定地抓取 reddit 页面内容，规避其反爬机制导致的 429 或机器人拦截错误。

本文详解如何在 go 中通过设置合理的请求间隔、user-agent 和超时机制，合法、稳定地抓取 reddit 页面内容，规避其反爬机制导致的 429 或机器人拦截错误。

Reddit 明确限制自动化访问频率，其官方 API 文档（Reddit API Wiki）建议客户端每 2 秒最多发起一次请求。若未遵守该规则，服务器将返回含“you appear to be a bot”提示的 HTML 响应（HTTP 状态码通常仍为 200），而非标准错误码，这容易被忽略，导致程序误判为成功。

此外，原始代码存在多个关键问题需修复：

❌ resp.Body.Close() 被 defer 在读取前声明，但 defer 在函数返回时才执行，而 resp 可能为 nil（如请求失败），引发 panic；
❌ 未检查 client.Get 和 ioutil.ReadAll 的错误，掩盖真实异常；
❌ 缺少合法 User-Agent 头，使请求默认以 Go-http-client/1.1 发出，极易被识别为爬虫；
❌ ioutil.ReadAll 已被弃用（Go 1.16+），应改用 io.ReadAll；
❌ 未设置 Transport 级别超时（如连接、TLS 握手），仅靠 Client.Timeout 不足以覆盖全链路。

以下是符合 Reddit 规范的改进版示例：

package main

import (
    "fmt"
    "io"
    "net/http"
    "time"
)

func fetchRedditPage(url string) error {
    // 设置带 User-Agent 的 HTTP 客户端（模拟主流浏览器）
    client := &http.Client{
        Timeout: 10 * time.Second, // 总超时：含连接、响应头、响应体读取
        Transport: &http.Transport{
            // 连接级超时控制
            DialContext: (&net.Dialer{
                Timeout:   5 * time.Second,
                KeepAlive: 30 * time.Second,
            }).DialContext,
            TLSHandshakeTimeout: 5 * time.Second,
        },
    }

    // 构造带合法 User-Agent 的请求
    req, err := http.NewRequest("GET", url, nil)
    if err != nil {
        return fmt.Errorf("failed to create request: %w", err)
    }
    req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36")

    resp, err := client.Do(req)
    if err != nil {
        return fmt.Errorf("request failed: %w", err)
    }
    defer resp.Body.Close() // ✅ 此处 safe：resp 非 nil 才执行

    if resp.StatusCode != http.StatusOK {
        return fmt.Errorf("HTTP %d: %s", resp.StatusCode, http.StatusText(resp.StatusCode))
    }

    body, err := io.ReadAll(resp.Body)
    if err != nil {
        return fmt.Errorf("failed to read response body: %w", err)
    }

    fmt.Printf("Fetched %d bytes from %s\n", len(body), url)
    // 实际使用中建议解析 HTML 或提取所需字段，而非直接打印全文
    return nil
}

func main() {
    urls := []string{
        "https://www.reddit.com/",
        "https://www.reddit.com/r/golang/",
    }

    for i, url := range urls {
        if i > 0 {
            fmt.Println("Waiting 2 seconds before next request...")
            time.Sleep(2 * time.Second) // ✅ 强制遵守 Reddit 的速率限制
        }
        if err := fetchRedditPage(url); err != nil {
            fmt.Printf("Error fetching %s: %v\n", url, err)
            continue
        }
    }

    var input string
    fmt.Print("Press Enter to exit...")
    fmt.Scanln(&input)
}

✅ 关键实践总结：