Scrapfly Go SDK

使用 go-scrapfly 模块，可在 Go 中实现网页抓取，支持代理轮换、反爬绕过（ASP）、JavaScript 渲染、截图及 AI 数据提取。该模块内置基于 goquery 的选择器，用于解析响应内容。

适用场景

• 从 Go 项目中抓取网页（HTML、JSON、纯文本、Markdown）
• 绕过各类反爬保护机制（Cloudflare、DataDome、PerimeterX、Kasada）
• 使用无头浏览器渲染 JavaScript 密集型页面
• 截取网页快照或提取结构化数据

安装与配置

go get github.com/scrapfly/go-scrapfly
export SCRAPFLY_API_KEY="your-api-key"

模块导入名为 scrapfly。请前往 scrapfly.io 获取您的 API 密钥。

基础抓取示例

package main

import (
    "fmt"
    "log"
    "os"

    "github.com/scrapfly/go-scrapfly"
)

func main() {
    client, err := scrapfly.New(os.Getenv("SCRAPFLY_API_KEY"))
    if err != nil {
        log.Fatalf("failed to create client: %v", err)
    }

    apiResponse, err := client.Scrape(&scrapfly.ScrapeConfig{
        URL: "https://web-scraping.dev/product/1",
    })
    if err != nil {
        log.Fatalf("scrape failed: %v", err)
    }

    fmt.Println(apiResponse.Result.Content)
}

反爬绕过、地理定位与 JavaScript 渲染

ScrapeConfig 字段采用符合 Go 语言习惯的 PascalCase 命名风格。ProxyPool 接收一个类型化的常量。

apiResponse, err := client.Scrape(&scrapfly.ScrapeConfig{
    URL:             "https://web-scraping.dev/product/1",
    ASP:             true,                            // 启用反爬绕过
    Country:         "us",                            // 代理所在国家（ISO 3166-1 alpha-2 编码）
    ProxyPool:       scrapfly.PublicResidentialPool,  // 或 scrapfly.PublicDataCenterPool
    RenderJS:        true,                            // 启用无头浏览器渲染
    WaitForSelector: "div.product",                  // 需配合 RenderJS 使用
    RenderingWait:   5000,                            // 等待毫秒数，需配合 RenderJS 使用
    Format:          "markdown",                      // 可选值：raw | clean_html | json | markdown | text
})

内置 HTML 选择器

selector, err := apiResponse.Selector() // 返回 goquery 文档对象
if err != nil {
    log.Fatal(err)
}
fmt.Println("Title:", selector.Find("h3").First().Text())

截图与 AI 提取

shot, err := client.Screenshot(&scrapfly.ScreenshotConfig{
    URL: "https://web-scraping.dev/products",
})

data, err := client.Extract(&scrapfly.ExtractionConfig{
    Body:             []byte(apiResponse.Result.Content),
    ContentType:      "text/html",
    ExtractionPrompt: "extract all product names and prices",
})

重要注意事项

• RenderJS: true 是启用 RenderingWait、WaitForSelector 和截图功能的前提条件
• 建议在启用 ASP: true 的同时，搭配使用 scrapfly.PublicResidentialPool
• 如需获取干净、适合大语言模型（LLM）处理的内容，请设置 Format: "markdown"
• 通过 apiResponse.Result.Content 读取页面原始内容；通过 apiResponse.Selector() 进行 HTML 解析