本文介绍如何使用 io.limitedreader 安全、高效地限制 go 语言中 http get 请求响应体的最大读取字节数，避免因超大响应导致内存溢出或阻塞。
本文介绍如何使用 io.limitedreader 安全、高效地限制 go 语言中 http get 请求响应体的最大读取字节数，避免因超大响应导致内存溢出或阻塞。
在网页爬虫或 API 调用场景中，若不对响应体大小加以约束，遇到恶意返回超长内容（如 GB 级 HTML、无限生成的流式响应或配置错误的服务）时，ioutil.ReadAll（或 io.ReadAll）会持续读取直至 EOF，极易引发内存耗尽、goroutine 阻塞甚至服务崩溃。
Go 标准库提供了轻量且高效的解决方案：io.LimitedReader。它包装任意 io.Reader，仅允许最多读取指定字节数（N），后续读取将立即返回 io.EOF，不依赖底层连接关闭，也不影响 HTTP 状态码或 Header 解析。
✅ 正确用法示例：
const maxBodySize = 10 * 1024 * 1024 // 10 MB
response, err := client.Get(page.Url)
if err != nil {
log.Printf("GET %s failed: %v", page.Url, err)
return
}
defer response.Body.Close() // 始终关闭 Body！
// 方式一：显式构造 LimitedReader
limitedReader := io.LimitReader(response.Body, maxBodySize)
body, err := io.ReadAll(limitedReader)
if err != nil && err != io.EOF {
log.Printf("Read body from %s failed: %v", page.Url, err)
return
}
// 注意：err == io.EOF 表示已达到限制，非错误！可据此记录截断日志
if len(body) == maxBodySize {
log.Printf("Warning: response body from %s was truncated at %d bytes", page.Url, maxBodySize)
}
page.Body = string(body)
⚠️ 关键注意事项：
- 必须调用 response.Body.Close()：即使使用 LimitedReader，仍需显式关闭底层 Body，否则连接无法复用，可能导致 http: persistent connection broken by client 或连接泄漏。
- io.LimitReader 是无状态包装器，不缓冲、不预读、不修改原始 Reader，性能开销极低。
- 若响应实际字节数 ≤ 限制值，则 io.ReadAll 返回 nil 错误；若恰好读满 N 字节，则返回 io.EOF —— 这是预期行为，不应视为失败，而应作为“已截断”的信号处理。
- 不建议在 LimitedReader 外再套用 context.WithTimeout 控制读取时间（Header 已超时则不会进入 Body 读取），但可为整个请求设置 http.Client.Timeout 或 context.Context 防止挂起。
? 进阶建议：
对于高并发爬虫，可结合 http.MaxBytesReader（用于 http.Handler 侧限流）或自定义 RoundTripper 实现更严格的端到端控制；但在客户端发起请求时，io.LimitReader 是最简洁、可靠且符合 Go idiomatic 的方案。
