通用网页爬虫

基于 AI 的数据提取能力，覆盖 55+ 个 Actor，支持所有主流平台。本技能将自动为您的任务选择最优 Actor。

前提条件

• 已在 OpenClaw 设置中配置 APIFY_TOKEN
• Node.js 20.6+
• mcpc CLI（通过技能元数据自动安装）

输入净化规则

在将任何值代入 Bash 命令前，需严格校验：

• ACTOR_ID：必须为技术名称（格式为 owner/actor-name，仅允许字母、数字、短横线、点号及一个斜杠），或原始 ID（严格为 17 位字母数字组合，例如 oeiQgfg5fsmIJB7Cn）。拒绝包含 Shell 元字符的值（; | & $ ` ( ) { } < > ! n）。
• SEARCH_KEYWORDS：仅接受纯文本单词。拒绝包含 Shell 元字符的值。
• JSON_INPUT：必须为合法 JSON；禁止使用单引号（应使用转义双引号）；使用前须验证结构有效性。
• 输出文件名：必须符合 YYYY-MM-DD_descriptive-name.{csv,json} 格式；禁止路径分隔符（/、..）、空格及 Shell 元字符。

工作流程

请复制下方检查清单并跟踪执行进度：

任务进度：
- [ ] 步骤 1：理解用户目标并选择 Actor
- [ ] 步骤 2：通过 mcpc 获取 Actor Schema
- [ ] 步骤 3：向用户确认偏好（格式、文件名）
- [ ] 步骤 4：运行爬虫脚本
- [ ] 步骤 5：汇总结果并提供后续建议

步骤 1：理解用户目标并选择 Actor

首先明确用户的具体需求，然后从以下列表中选择最匹配的 Actor。

Instagram Actor（12 个）

Facebook Actor（14 个）

TikTok Actor（14 个）

YouTube Actor（5 个）

Google Maps Actor（4 个）

其他 Actor（6 个）

按使用场景选择 Actor

多 Actor 协同工作流

对于复杂任务，可串联多个 Actor 执行：

未找到合适 Actor？

若上述 Actor 均不满足用户需求，请直接搜索 Apify Store：

mcpc --json mcp.apify.com --header "Authorization: Bearer $APIFY_TOKEN" tools-call search-actors keywords:="SEARCH_KEYWORDS" limit:=10 offset:=0 category:="" | jq -r '.content[0].text'

将 SEARCH_KEYWORDS 替换为 1–3 个简洁关键词（例如："LinkedIn profiles"、"Amazon products"、"Twitter"）。

步骤 2：获取 Actor Schema

使用 mcpc 动态获取 Actor 的输入 Schema 及详细信息：

mcpc --json mcp.apify.com --header "Authorization: Bearer $APIFY_TOKEN" tools-call fetch-actor-details actor:="ACTOR_ID" | jq -r ".content"

将 ACTOR_ID 替换为选定的 Actor（例如：compass/crawler-google-places）。

该命令返回：

• Actor 描述及 README 文档
• 必需与可选输入参数
• 输出字段（如已定义）

步骤 3：询问用户偏好

执行前需确认以下两项：

1. 输出格式：
   • 快速响应 —— 在聊天窗口中展示前几条结果（不保存文件）
   • CSV —— 完整导出全部字段
   • JSON —— 完整导出为 JSON 格式
2. 结果数量：依据具体使用场景合理设定

步骤 4：运行脚本

快速响应（仅显示于聊天窗口，不生成文件）：

node {baseDir}/reference/scripts/run_actor.js 
  --actor 'ACTOR_ID' 
  --input 'JSON_INPUT'

CSV 导出：

node {baseDir}/reference/scripts/run_actor.js 
  --actor 'ACTOR_ID' 
  --input 'JSON_INPUT' 
  --output 'YYYY-MM-DD_OUTPUT_FILE.csv' 
  --format csv

JSON 导出：

node {baseDir}/reference/scripts/run_actor.js 
  --actor 'ACTOR_ID' 
  --input 'JSON_INPUT' 
  --output 'YYYY-MM-DD_OUTPUT_FILE.json' 
  --format json

步骤 5：汇总结果并提供后续建议

执行完成后，需反馈以下信息：

• 查得结果总数
• 输出文件路径与名称
• 可用的关键字段
• 基于结果推荐的后续工作流：

安全与数据隐私

本技能指导 Agent 完成三项操作：选择 Apify Actor、通过 mcpc 获取其 Schema、运行对应爬虫。所含脚本仅与 api.apify.com 通信，并将输出写入当前工作目录下的文件；不会访问无关系统文件或其他环境变量。

Apify Actor 仅抓取公开可访问的数据，不会收集超出目标平台公开范围的私密或个人身份信息。如需进一步确认安全性，您可通过查询 https://api.apify.com/v2/acts/:actorId 查看 Actor 权限等级：LIMITED_PERMISSIONS 表示其运行于受限沙箱环境；FULL_PERMISSIONS 表示具备更广泛的系统访问权限。完整条款请参阅 Apify《通用条款与条件》。

错误处理

APIFY_TOKEN not found —— 提示用户在 OpenClaw 设置中配置 APIFY_TOKEN
mcpc not found —— 执行 npm install -g @apify/mcpc
Actor not found —— 核对 Actor ID 拼写
Run FAILED —— 提示用户查看错误输出中的 Apify 控制台链接
Timeout —— 缩小输入规模或增大 --timeout 参数值