Scrapfly TypeScript SDK

使用 scrapfly-sdk 包，可在 TypeScript/JavaScript 中抓取网页，支持代理轮换、反爬绕过（ASP）、JavaScript 渲染、截图及 AI 提取。兼容 Node.js、Deno、Bun 及边缘运行时（Cloudflare Workers、AWS Lambda）。

适用场景

• 从 TypeScript/JavaScript 代码库中抓取网页（HTML、JSON、文本、Markdown）
• 绕过反爬保护（Cloudflare、DataDome、PerimeterX、Kasada）
• 使用无头浏览器渲染 JavaScript 密集型页面
• 截取网页截图或提取结构化数据
• 并发抓取多个 URL

安装配置

npm install scrapfly-sdk
# Deno / JSR：从 'jsr:@scrapfly/scrapfly-sdk' 导入
export SCRAPFLY_API_KEY="your-api-key"

请在 scrapfly.io 获取您的 API 密钥。

基础抓取

import { ScrapflyClient, ScrapeConfig } from 'scrapfly-sdk';

const client = new ScrapflyClient({ key: process.env.SCRAPFLY_API_KEY });

const result = await client.scrape(
    new ScrapeConfig({ url: 'https://web-scraping.dev/products' }),
);

console.log(result.result.content);

反爬绕过、地理定位与 JavaScript 渲染

ScrapeConfig 使用 snake_case 风格的选项键名，与后端 API 保持一致。

const result = await client.scrape(
    new ScrapeConfig({
        url: 'https://web-scraping.dev/products',
        asp: true,                          // 绕过反爬机制
        country: 'us',                      // 代理所在国家（ISO 3166-1 alpha-2 编码）
        proxy_pool: 'public_residential_pool',
        render_js: true,                    // 启用无头浏览器渲染
        wait_for_selector: 'div.product',   // 需配合 render_js 使用
        rendering_wait: 5000,               // 毫秒，需配合 render_js 使用
        format: 'markdown',                 // 可选值：raw | clean_html | json | markdown | text
    }),
);

截图与内容提取

import { ScreenshotConfig, ExtractionConfig } from 'scrapfly-sdk';

const shot = await client.screenshot(
    new ScreenshotConfig({ url: 'https://web-scraping.dev/products' }),
);
// shot.image 为二进制图像数据

const html = (await client.scrape(
    new ScrapeConfig({ url: 'https://web-scraping.dev/reviews' }),
)).result.content;

const data = await client.extract(
    new ExtractionConfig({
        body: html,
        content_type: 'text/html',
        extraction_prompt: 'extract the reviews as JSON with fields: review, date, rating, author',
    }),
);
console.log(data.data);

并发抓取

const configs = [
    new ScrapeConfig({ url: 'https://web-scraping.dev/products?page=1' }),
    new ScrapeConfig({ url: 'https://web-scraping.dev/products?page=2' }),
];

for await (const result of client.concurrentScrape(configs)) {
    console.log(result.result.content.slice(0, 100));
}

重要说明

• render_js: true 是启用 rendering_wait、wait_for_selector 和截图功能的前提条件
• 建议在启用 asp: true 的同时，指定 proxy_pool: 'public_residential_pool'
• 如需获取干净、适合大语言模型（LLM）处理的内容，请使用 format: 'markdown'
• API 密钥通过构造函数的 key 参数传入（例如传入 process.env.SCRAPFLY_API_KEY）
• 抓取结果的网页正文需通过 result.result.content 访问