Content Catcher

Polar Sponsor
爱发电 赞助
.NET 9.0

虾抓抓 v4.0 - 超强内容抓取,支持 Markdown、PDF、多模态提取、结构化抽取、翻译、视频下载。触发词:抓取网页、网页转Markdown、内容抓取、虾抓抓、视频下载

虾抓抓 v4.0 - 超强内容抓取技能

功能概述

虾抓抓 v4.0 - 超强内容抓取技能是一项面向实际任务的技能,主要用于原名:xia-zhua-zhua,又称Content Catcher;升级亮点 (v4.0);

核心要点

  • PDF导出;
  • 直接导出为PDF;
  • 多模态提取;

使用与执行

图片/音频/视频资源;结构化抽取;表格/列表/卡片智能识别;页面更新自动提醒;抓取后自动翻译;完整JS动态内容;1. 网页内容抓取;node markdown-clip.js <url。

结果检查与注意事项

它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。该技能适合用于一次性任务,也可以接入自动化工作流,与其他技能或上层代理配合完成更完整的业务链路;在组合使用时,应明确每一步的输入输出关系,并避免不同步骤之间出现参数冲突。

虾抓抓 v4.0 - 超强内容抓取技能

原名:xia-zhua-zhua,又称Content Catcher

升级亮点 (v4.0)

新功能 说明
PDF导出 直接导出为PDF
多模态提取 图片/音频/视频资源
结构化抽取 表格/列表/卡片智能识别
增量监测 页面更新自动提醒
翻译集成 抓取后自动翻译
深度渲染 完整JS动态内容

核心能力

1. 网页内容抓取

模式 命令 说明
标准模式 node markdown-clip.js CSS选择器
Smart模式 node markdown-clip.js --smart Readability AI
分析模式 node markdown-clip.js --analyze 摘要+关键词

2. 视频下载

命令 说明
python video_catcher_pro.py ytdlp yt-dlp下载
python video_catcher_pro.py m3u8 M3U8下载

v4.0 新增功能

多模态提取

# 提取图片资源
node content-extractor.js  --images

# 提取所有媒体
node content-extractor.js  --media

PDF导出

# 导出为PDF
node content-extractor.js  --pdf

# Markdown + PDF双导出
node content-extractor.js  --both

结构化抽取

# 智能识别表格
node content-extractor.js  --tables

# 识别列表数据
node content-extractor.js  --lists

增量监测

# 监测页面更新
node content-watcher.js  --watch

# 设置更新提醒
node content-watcher.js  --watch --notify

翻译功能

# 翻译为英文
node content-extractor.js  --translate en

# 翻译为日文
node content-extractor.js  --translate jp

技术架构

┌─────────────────────────────────────────────────────────┐
│              Content Catcher v4.0                      │
├─────────────────────────────────────────────────────────┤
│                                                         │
│  ┌─────────────┐  ┌─────────────┐  ┌─────────────┐    │
│  │  Playwright  │  │   Turndown   │  │   yt-dlp    │    │
│  │  (渲染)      │  │ (Markdown)  │  │  (视频)     │    │
│  └──────┬──────┘  └──────┬──────┘  └─────────────┘    │
│         │                 │                            │
│  ┌──────▼──────┐  ┌──────▼──────┐                     │
│  │ 多模态提取   │  │  结构化    │                     │
│  │ 图片/音频   │  │  表格/列表  │                     │
│  └─────────────┘  └─────────────┘                     │
│         │                                                    │
│  ┌──────▼──────┐                                        │
│  │  输出格式   │                                        │
│  │ Markdown   │                                        │
│  │ PDF        │                                        │
│  │ JSON       │                                        │
│  └─────────────┘                                        │
└─────────────────────────────────────────────────────────┘

升级对比

功能 v2.x v3.x v4.x
Markdown ✅ ✅ ✅
Smart模式 ✅ ✅ ✅
分析 ✅ ✅ ✅
视频下载 - ✅ ✅
PDF导出 - - ✅
多模态 - - ✅
结构化 - - ✅
增量监测 - - ✅
翻译 - - ✅

依赖工具

工具 状态 用途
Node.js ✅ 运行环境
Playwright ✅ 页面渲染
Turndown ✅ HTML→Markdown
Python ✅ 分析/翻译
yt-dlp ✅ 视频下载
weasyprint ✅ PDF导出
googletrans ⬜ 翻译(可选)

使用示例

基础抓取

node xia-zhua-zhua/markdown-clip.js https://example.com --smart

多模态+PDF

node content-extractor.js https://example.com --media --pdf

视频下载

python video-catcher/video_catcher_pro.py ytdlp https://b.com/video

文件结构

content-catcher/
├── SKILL.md                    # 本文档
├── xia-zhua-zhua/            # 虾抓抓模块
│   ├── markdown-clip.js       # 主脚本
│   └── ...
└── video-catcher/            # 视频模块
    ├── video_catcher_pro.py  # 主脚本
    └── ...

更新日志

v4.0.0 (最新)

  • 多模态内容提取
  • PDF导出
  • 结构化数据抽取
  • 增量更新监测
  • 翻译集成

v3.0.0

  • 融合Video Catcher

v2.1.3

  • Smart模式
  • 分析功能

相关专题

更多
Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

2026.11.06

0

12

Postman请求头Headers怎么设置
Postman请求头Headers怎么设置

围绕Postman HTTP请求头配置展开,讲解Headers选项的具体使用方式,包括Key和Value参数填写、请求头信息添加、常见Header字段设置及请求头修改方法,帮助用户解决接口调试过程中遇到的请求头配置问题。

2026.11.06

0

13

Postman接口请求发送教程
Postman接口请求发送教程

详细介绍Postman接口请求的创建与发送方法,涵盖GET和POST请求、URL配置、请求参数、Headers请求头、Body请求体设置以及响应结果查看,帮助用户掌握Postman接口请求的完整操作流程。

2026.11.06

0

10

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

2026.11.05

0

12

DBeaver安全防护教程大全
DBeaver安全防护教程大全

DBeaver安全防护专题,围绕数据库连接安全、账号密码保护和访问权限管理展开,整理SSL/TLS加密连接、SSH隧道、数据库凭据保存及证书验证等配置方法,同时介绍敏感信息保护、远程连接风险和高权限账号使用等注意事项,帮助用户提高数据库日常管理的安全性。

2026.11.05

0

12

DBeaver连接创建与配置教程
DBeaver连接创建与配置教程

本专题聚焦DBeaver数据库连接配置与管理,覆盖从新建连接、选择数据库类型到填写连接参数和验证连接的完整流程。针对MySQL、PostgreSQL、SQL Server等常见数据库,整理相应的连接设置方法,并提供驱动缺失、认证失败和连接异常等问题的排查方向。

2026.11.04

0

16

XORM框架结构体映射与表结构同步
XORM框架结构体映射与表结构同步

本专题围绕XORM框架的结构体映射展开,说明表名与字段的命名策略、xorm标签常用属性、主键自增与时间字段自动填充,并演示Sync2自动建表、增量字段升级、索引声明与反向生成结构体的完整流程。

2026.11.04

0

15

XORM框架安装配置与数据库连接
XORM框架安装配置与数据库连接

本专题聚焦XORM框架的配置与连接环节,拆解MySQL、PostgreSQL、SQLite、SQL Server的DSN写法与驱动选择,讲清连接池参数、多数据源拆分、读写分离与超时重连的处理方式,并补充容器与兼容数据库的适配经验。

2026.11.04

0

15

XORM框架安装配置与数据库连接
XORM框架安装配置与数据库连接

本专题聚焦XORM框架的配置与连接环节,拆解MySQL、PostgreSQL、SQLite、SQL Server的DSN写法与驱动选择,讲清连接池参数、多数据源拆分、读写分离与超时重连的处理方式,并补充容器与兼容数据库的适配经验。

2026.11.04

0

16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.1万人学习