Golang编写简单爬虫 net/http与goquery结合-Golang-PHP中文网

答案：使用golang的net/http发起请求，结合goquery解析html，通过css选择器提取数据，实现高效轻量级爬虫。

golang编写简单爬虫 net/http与goquery结合

用Golang结合

net/http

和

goquery

编写一个简单的爬虫，其核心在于利用

net/http

标准库来发起HTTP请求并获取网页内容，再通过

goquery

这个强大的库，以类似jQuery的CSS选择器能力进行高效的DOM解析和数据提取。在我看来，这套组合拳，简直是轻量级爬虫开发的黄金搭档，既保持了Go语言的高效并发特性，又提供了jQuery般便捷的DOM操作体验，让原本繁琐的HTML解析变得异常优雅。

解决方案

编写一个基于

net/http

和

goquery

的Go语言爬虫，通常会遵循几个步骤：发起HTTP请求、处理响应、解析HTML并提取数据。下面是一个简单的例子，演示如何抓取一个虚构的博客文章列表，提取每篇文章的标题和链接。

package main

import (
    "fmt"
    "log"
    "net/http"
    "os"
    "strings"

    "github.com/PuerkitoBio/goquery"
)

// Article represents a scraped article with its title and URL.
type Article struct {
    Title string
    URL   string
}

func main() {
    // 定义目标URL
    targetURL := "http://example.com/blog" // 假设这是一个博客列表页

    // 发起HTTP GET请求
    resp, err := http.Get(targetURL)
    if err != nil {
        log.Fatalf("发起HTTP请求失败: %v", err)
    }
    defer func() {
        if closeErr := resp.Body.Close(); closeErr != nil {
            log.Printf("关闭响应体失败: %v", closeErr)
        }
    }()

    // 检查HTTP状态码
    if resp.StatusCode != http.StatusOK {
        log.Fatalf("请求失败，状态码: %d %s", resp.StatusCode, resp.Status)
    }

    // 使用goquery创建一个新的文档
    doc, err := goquery.NewDocumentFromReader(resp.Body)
    if err != nil {
        log.Fatalf("解析HTML文档失败: %v", err)
    }

    var articles []Article

    // 使用CSS选择器查找文章列表项
    // 假设每篇文章在一个 class 为 "post-item" 的 div 中，标题在 h2 标签内，链接在 a 标签的 href 属性中
    doc.Find(".post-item").Each(func(i int, s *goquery.Selection) {
        title := s.Find("h2 a").Text()
        href, exists := s.Find("h2 a").Attr("href")

        if exists && title != "" {
            // 确保链接是绝对路径，如果不是，则进行拼接
            if !strings.HasPrefix(href, "http") {
                // 简单的拼接，实际情况可能需要更复杂的URL解析
                href = targetURL + href // 假设是相对路径
            }
            articles = append(articles, Article{Title: strings.TrimSpace(title), URL: href})
        }
    })

    // 打印提取到的文章信息
    if len(articles) == 0 {
        fmt.Println("没有找到任何文章。请检查选择器或目标网站结构。")
    } else {
        fmt.Println("成功提取到文章列表:")
        for _, article := range articles {
            fmt.Printf("标题: %s\n链接: %s\n---\n", article.Title, article.URL)
        }
    }
}

// 注意：实际运行时，请将 targetURL 替换为真实可访问的网站URL，
// 并根据目标网站的HTML结构调整 goquery 的选择器。
// 例如，如果目标网站是 'https://news.ycombinator.com/'，你可能需要这样的选择器：
// doc.Find(".athing").Each(func(i int, s *goquery.Selection) {
//     title := s.Find(".titleline a").Text()
//     href, exists := s.Find(".titleline a").Attr("href")
//     // ... 后续处理
// })

这段代码展示了一个基础的爬虫骨架。我们首先用

http.Get

获取网页内容，然后用

goquery.NewDocumentFromReader

将响应体转换为可操作的DOM对象。接着，通过

doc.Find(".post-item").Each(...)

，我们遍历所有匹配

.post-item

选择器的元素，并在每个元素内部进一步查找

h2 a

标签，提取其文本作为标题，

href

属性作为链接。这里还加入了一个简单的相对路径处理，这在实际爬虫中是常见且必要的。

为什么选择Go语言和goquery来开发爬虫？

我个人对Go语言和

goquery

的组合情有独钟，这并非偶然。选择它们来开发爬虫，背后有几个非常实际且有力的理由：

Go语言本身就为高并发、高性能而生。它的Goroutine和Channel机制，让编写并发代码变得异常简单和高效。爬虫本质上就是I/O密集型任务，需要同时处理大量的网络请求。Go的并发模型，能够以极低的资源消耗启动成千上万个并发请求，这在其他语言中可能需要复杂的线程池或异步框架才能实现。我曾经尝试用Python写一些大规模爬虫，虽然生态丰富，但在高并发场景下，GIL（全局解释器锁）和异步IO的调试成本，有时会让人感到头疼。Go语言在这里提供了一种更为直接和高效的解决方案，它的编译型特性也意味着更快的执行速度和更低的内存占用，部署起来也特别省心，一个静态编译的二进制文件就能搞定一切。

至于

goquery

，它简直是前端开发者或熟悉jQuery的人的福音。我记得刚开始接触爬虫时，处理HTML文档是一件很痛苦的事情，要么是复杂的正则表达式，要么是冗长的DOM遍历。

goquery

通过提供jQuery风格的API，让CSS选择器直接作用于Go的HTML解析结果，这让数据提取变得直观、简洁且不易出错。你不需要重新学习一套新的API，直接用熟悉的CSS选择器就能精准定位元素，这种“所见即所得”的开发体验，大大提升了开发效率。它底层基于

golang.org/x/net/html

库，解析性能也相当可靠，不会成为瓶颈。所以，对我来说，Go的并发能力是骨架，

goquery

则是那双能精准摘取数据的巧手，两者结合，事半功倍。

在Go语言爬虫开发中，如何处理常见的反爬机制？

反爬机制就像一场猫鼠游戏，没有一劳永逸的解决方案，但我们总能找到一些策略来应对。在Go语言爬虫中，处理常见的反爬机制，通常需要我们模拟更真实的浏览器行为，并适当地控制请求节奏。

一个最基础的应对是设置User-Agent请求头。很多网站会根据User-Agent来判断请求来源是浏览器还是爬虫。默认的Go HTTP客户端User-Agent通常是

Go-http-client/1.1

，这很容易被识别。我们可以在请求中加入

req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124124 Safari/537.36")

这样的代码，模拟一个主流浏览器的User-Agent。

// ...
req, err := http.NewRequest("GET", targetURL, nil)
if err != nil {
    log.Fatalf("创建请求失败: %v", err)
}
req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124124 Safari/537.36")

client := &http.Client{}
resp, err := client.Do(req)
// ...

IP代理池是另一个重要的策略，尤其当网站对单个IP的访问频率有严格限制时。我们可以维护一个代理IP列表，并在每次请求时随机选择一个代理IP。Go的

http.Client

可以很方便地配置

Transport

来使用代理：

proxyURL, _ := url.Parse("http://your-proxy-ip:port") // 替换为你的代理IP和端口
client := &http.Client{
    Transport: &http.Transport{
        Proxy: http.ProxyURL(proxyURL),
    },
}
// 使用这个client发起请求
resp, err := client.Do(req)

当然，更复杂的代理池可能涉及代理可用性检测、轮换策略等。

请求频率控制同样关键。频繁的请求会触发网站的限流机制。最简单的方式是使用

Miller CSV TSV JSON 数据处理器

Miller (mlr) 是一个命令行工具，用于查询、整形和重新格式化名称索引数据，如 CSV、TSV、JSON 和 JSON Lines。它将 awk、sed、cut、join 和 sort 的功能整合到一个专为结构化数据处理而构建的单一工具中。

下载

time.Sleep()

在每次请求之间引入延迟。更高级的策略是实现令牌桶或漏桶算法，以更平滑地控制请求速率。

// 简单的延迟
time.Sleep(2 * time.Second) // 每次请求前等待2秒

// 或者使用channel限制并发和频率
// 假设你有一个workCh channel来分发任务
// var rateLimiter = time.Tick(time.Millisecond * 500) // 每500毫秒生成一个"令牌"
// for task := range workCh {
//     <p>对于需要<strong>Cookies或Session管理</strong>的网站，</p><pre class="brush:php;toolbar:false;">http.Client

的

Jar

字段可以自动处理Cookie的存储和发送：

jar, _ := cookiejar.New(nil)
client := &http.Client{
    Jar: jar, // 客户端会自动管理cookies
}
// ...

至于JavaScript渲染的页面和验证码，这就超出了

net/http

和

goquery

的范畴了。对于JS渲染，我们可能需要引入无头浏览器（如

chromedp

），它能模拟真实的浏览器执行JS并渲染页面。验证码则需要结合OCR技术或人工打码平台。这些都是更高级的爬虫技术，在编写简单爬虫时，通常会先选择那些不需要处理这些复杂机制的目标。

总的来说，处理反爬机制是一个不断学习和适应的过程。关键在于理解目标网站的防护策略，然后有针对性地模拟真实用户行为，而非盲目地堆砌技术。

如何优化Go语言爬虫的性能和并发处理？

Go语言天生就擅长并发，但如果用不好，它的并发优势也可能带来资源耗尽的问题。所以，优化Go语言爬虫的性能和并发处理，关键在于精细的控制和合理的资源管理。

首先，并发控制是重中之重。无限制地启动Goroutine可能会耗尽系统资源，导致程序崩溃或效率低下。我们可以使用有缓冲的Channel或者

sync.WaitGroup

结合信号量模式来限制并发数量。

一个常见的模式是使用一个固定大小的Channel作为“工作池”或“信号量”：

// 假设有100个URL需要爬取
urlsToCrawl := []string{"url1", "url2", ..., "url100"}
maxConcurrency := 10 // 最大并发数

sem := make(chan struct{}, maxConcurrency) // 信号量，容量为最大并发数
var wg sync.WaitGroup

for _, url := range urlsToCrawl {
    wg.Add(1)
    sem <p>通过</p><pre class="brush:php;toolbar:false;">sem 和<pre class="brush:php;toolbar:false;">，我们确保了同时运行的爬取Goroutine不会超过<pre class="brush:php;toolbar:false;">maxConcurrency

个。

其次，连接复用对HTTP请求性能至关重要。每次发起HTTP请求都重新建立TCP连接，会带来不必要的握手开销。

http.Client

默认会复用连接，但如果你的爬虫会访问大量不同的域名，或者你需要更精细的控制，可以自定义

http.Transport

来配置连接池的大小、空闲连接的超时时间等。

client := &http.Client{
    Transport: &http.Transport{
        MaxIdleConns:        100,              // 最大空闲连接数
        IdleConnTimeout:     90 * time.Second, // 空闲连接超时时间
        MaxConnsPerHost:     20,               // 每个host的最大连接数
        DisableKeepAlives:   false,            // 启用Keep-Alive
    },
    Timeout: 30 * time.Second, // 整个请求的超时时间
}
// 使用这个client发起所有HTTP请求

错误处理与重试机制也不容忽视。网络抖动、目标网站临时故障等都可能导致请求失败。实现一个带指数退避（Exponential Backoff）的重试机制，可以在不给目标网站造成过大压力的前提下，提高爬虫的健壮性。

// 简单的重试逻辑
maxRetries := 3
for i := 0; i <p>最后，<strong>数据存储优化</strong>也是性能考量的一部分。如果爬取的数据量很大，频繁地单条写入数据库或文件系统可能会成为瓶颈。考虑批量写入数据库、使用消息队列（如Kafka、RabbitMQ）进行异步处理，或者将数据暂存到内存中，达到一定量后再进行持久化。</p><p>我个人觉得，Go的并发优势如果用不好，反而可能适得其反，导致资源耗尽。所以，精细的并发控制比无脑启动大量Goroutine更重要。这就像开跑车，不是踩油门到底就行，还得会刹车和转弯。合理的配置和策略，才能让Go爬虫既高效又稳定。</p>

golang免费学习笔记（深入）：立即使用
在学习笔记中，你将探索golang的核心概念和高级技巧！