通过 Apify API v2 部署自定义 Apify Actors,使用 CrawleeJS 进行大规模网络爬取。利用 Apify 数据集存储、RequestQueue 和代理配置实现大规模分布式抓取。
Apify Actor 网络爬虫是一项面向实际任务的技能,主要用于通过 Apify API v2 部署自定义 Apify Actors,使用 CrawleeJS 进行大规模网络爬取;利用 Apify 数据集存储、RequestQueue 和代理配置实现大规模分布式抓取;
Apify SDK 需要 Node.js 16。它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;
若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。该技能适合用于一次性任务,也可以接入自动化工作流,与其他技能或上层代理配合完成更完整的业务链路;在组合使用时,应明确每一步的输入输出关系,并避免不同步骤之间出现参数冲突。
通过 Apify API v2 部署自定义 Apify Actors,使用 CrawleeJS 进行大规模网络爬取。利用 Apify 数据集存储、RequestQueue 和代理配置实现大规模分布式抓取。
使用与您的环境匹配的上游安装或设置路径:
上游的要求和注意事项:
基本用法或入门说明:
这个简短的教程将让您在一两分钟内开始使用 Apify SDK。
如果您想了解更多,请继续阅读 Apify Platform 指南
该指南将逐步指导您在 Apify 平台上运行您的 Actor。
Source: https://github.com/1991513ccie-png/skills
Extracted from upstream docs: https://raw.githubusercontent.com/apify/apify-sdk-js/HEAD/README.md