智能网页数据采集器，自动识别页面结构，批量抓取列表/表格/详情页数据，支持导出JSON/CSV/Excel，内置反爬策略适配。
Smart Web Scraper - 智能网页数据采集器
功能概述
Smart Web Scraper - 智能网页数据采集器是一项面向实际任务的技能，主要用于🔍 智能识别；自动识别列表页、详情页、表格数据；
核心要点
- 智能提取标题、价格、作者等关键字段；
- 支持分页自动采集；
- 🛡️ 反爬应对；
使用与执行
随机User-Agent轮换；请求延迟随机化；IP代理池支持（可选）；自动重试机制；📊 数据导出；JSON批量导出；CSV/Excel表格；数据库直存（MySQL/MongoDB）；命令行采集；
结果检查与注意事项
配置采集（config。它将相关步骤、工具调用和结果整理方式集中到统一流程中，帮助使用者更快完成目标并减少重复操作。从功能定位来看，该技能强调把分散的操作要求整理成清晰、可复用的处理流程，使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数，再依据技能说明逐步执行；若输入条件不完整，应先补齐信息或采用保守配置，避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期，并对异常提示、缺失字段和边界情况进行处理；涉及批量任务时，还应保存进度，避免中断后重复操作。该技能适合用于一次性任务，也可以接入自动化工作流，与其他技能或上层代理配合完成更完整的业务链路；在组合使用时，应明确每一步的输入输出关系，并避免不同步骤之间出现参数冲突。
Smart Web Scraper - 智能网页数据采集器
功能特点
🔍 智能识别
- 自动识别列表页、详情页、表格数据
- 智能提取标题、价格、作者等关键字段
- 支持分页自动采集
🛡️ 反爬应对
- 随机User-Agent轮换
- 请求延迟随机化
- IP代理池支持（可选）
- 自动重试机制
📊 数据导出
- JSON批量导出
- CSV/Excel表格
- 数据库直存（MySQL/MongoDB）
安装
cd smart-web-scraper
npm install
使用方法
命令行采集
# 采集单页
node scraper.js --url "https://example.com/products" --selector ".product-item"
# 批量分页采集
node scraper.js --url "https://example.com/list" --pages 10 --output data.json
# 导出CSV
node scraper.js --url "https://example.com/products" --format csv --output products.csv
配置采集（config.json）
{
"target": {
"url": "https://example.com/items",
"pages": 5,
"waitFor": ".loading"
},
"fields": [
{"name": "title", "selector": ".title", "type": "text"},
{"name": "price", "selector": ".price", "type": "text"},
{"name": "image", "selector": "img", "type": "attr", "attr": "src"}
],
"export": {
"format": "json",
"file": "output.json"
}
}
示例场景
| 场景 | 命令 |
|---|---|
| 电商商品采集 | node scraper.js --url "https://shop.example.com" --selector ".product" |
| 房价数据 | node scraper.js --config housing-config.json |
| 职位列表 | node scraper.js --url "https://jobs.example.com" --pages 20 --delay 2000 |
注意事项
- 遵守网站robots.txt规则
- 合理设置采集间隔
- 商业使用请确认授权
相关专题
nodejs实现爬虫的方法步骤：1、在index.js文件中引入request和cheerio模块；2、定义一个目标网址；3、使用request模块来发送一个GET请求到这个网址，并获取响应数据；4、通过$符号拿取哪个类里面的内容；5、将数据写入json文件；6、引入node提供的fs模块；7、手动创建data.json文件，并向其中存储数据即可。
2023.09.14
4513
10
本专题汇总了AionClaw（AI龙虾助手）的功能介绍与在线使用入口。AionClaw是杭州趣猿人工智能有限公司推出的桌面级AI智能体，能直接在电脑上读写文件、运行脚本、操作浏览器，自动交付Word、PPT、Excel等成品。
2026.09.20
0
13
AionClaw专题整理AI智能体与电脑自动化相关功能使用教程，涵盖安装部署、AI任务执行、Skills技能、文件处理、浏览器控制、电脑操作、持久记忆、聊天工具连接以及办公、编程和内容创作等功能，帮助用户快速掌握AionClaw的实际使用方法。
2026.09.20
0
15
本专题汇总了当前主流的AI视频生成软件推荐与排行榜单，涵盖seko、AniShort、剧云、Lovart、LiblibAI及立刻mv等热门工具。同时整理了各软件在文生视频、图生视频、时长限制、画质表现及免费额度等方面的差异对比，助您快速选对适合创作需求的AI视频生成工具。
2026.09.16
0
9
本专题汇总了当前免费AI生成视频工具的排行榜与推荐清单，涵盖seko、讯飞智作、AniShort及剧云、Lovart等多模型集成平台。同时整理了各工具的免费额度、输出时长、水印政策及适用场景差异，助您快速选择合适工具开启AI视频创作。
2026.09.16
0
10
本专题整理Pandas读取CSV、Excel、JSON、SQL、Parquet等文件的方法，以及to_csv、to_excel、to_sql和to_parquet等常用数据导出流程。
2026.09.16
0
27
热门下载
相关下载
精品课程
共12课时 | 1万人学习
共39课时 | 3.3万人学习
共10课时 | 1.3万人学习
