Substack 抓取器

通过 Apify Actor 的 REST API 抓取 Substack 通讯简报。

Actor ID

BULaHFURBV7WG3K81

前提条件

• 必须设置 APIFY_TOKEN 环境变量
• 系统中需已安装 curl 和 jq

工作流程

步骤 1：与用户确认参数

询问用户希望抓取的内容。支持的输入字段如下：

• urls（字符串数组）—— 待抓取的 Substack 出版物 URL 列表
• maxArticles（整数）—— 每个出版物最多抓取的文章数量
• includeContent（布尔值）—— 是否包含文章全文

步骤 2：运行 Actor

RESULT=$(curl -s -X POST "https://api.apify.com/v2/acts/BULaHFURBV7WG3K81/run-sync-get-dataset-items?token=$APIFY_TOKEN" 
  -H "Content-Type: application/json" 
  -d '{"urls": ["https://example.substack.com"], "maxArticles": 20}')
echo "$RESULT" | jq '.'

步骤 3：轮询并获取结果（异步模式）

RUN_ID=$(curl -s -X POST "https://api.apify.com/v2/acts/BULaHFURBV7WG3K81/runs?token=$APIFY_TOKEN" 
  -H "Content-Type: application/json" 
  -d '{"urls": ["https://example.substack.com"], "maxArticles": 100}' | jq -r '.data.id')
curl -s "https://api.apify.com/v2/actor-runs/$RUN_ID?token=$APIFY_TOKEN" | jq -r '.data.status'
curl -s "https://api.apify.com/v2/actor-runs/$RUN_ID/dataset/items?token=$APIFY_TOKEN" | jq '.'

步骤 4：呈现结果

汇总文章信息：标题、作者、发布日期、互动数据等。支持导出为 JSON 或 CSV 格式。

错误处理

• 若未设置 APIFY_TOKEN：执行 export APIFY_TOKEN=your_token
• 若运行失败（FAIL）：请检查日志接口（log endpoint）