Novel Scraper SPA

Polar Sponsor
爱发电 赞助
.NET 9.0

支持 JavaScript 加载的小说抓取工具,使用 Playwright 渲染 SPA 网站;自动识别网站类型,静态站用 curl,SPA 用浏览器渲染。

Novel Scraper SPA

功能概述

Novel Scraper SPA是一项面向实际任务的技能,主要用于支持抓取 JavaScript 加载的小说网站(SPA 架构),使用 Playwright 浏览器渲染;抓取笔趣阁等 SPA 架构小说网站;

核心要点

  • 需要 JavaScript 渲染才能获取内容的网站;
  • 普通静态网站(自动使用 curl,更快速);
  • url : 目标 URL;

使用与执行

book : 书名(用于输出文件名);chapter : 章节号;force-spa。它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。

结果检查与注意事项

实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。该技能适合用于一次性任务,也可以接入自动化工作流,与其他技能或上层代理配合完成更完整的业务链路;在组合使用时,应明确每一步的输入输出关系,并避免不同步骤之间出现参数冲突。

Novel Scraper SPA

功能

支持抓取基于 JavaScript 渲染的小说网站(SPA 架构),使用 Playwright 进行浏览器渲染。

使用场景

  • 抓取笔趣阁等采用 SPA 架构的小说网站
  • 需依赖 JavaScript 渲染才能获取正文内容的网站
  • 普通静态网站(自动降级为 curl 请求,性能更优)

命令

python3 scripts/scraper.py --url  --book <书名> --chapter <章节号>

参数

  • --url: 目标 URL
  • --book: 书名(用于生成输出文件名)
  • --chapter: 章节号
  • --force-spa: 强制启用浏览器渲染模式
  • -v: 启用详细日志输出

输出

结果保存至 ~/.openclaw/workspace/novels/ 目录

2. 基于任务的组织方式(适用于工具集类技能)

  • 适用于提供多种独立操作或能力的技能
  • 示例:PDF 技能中,“Quick Start” → “Merge PDFs” → “Split PDFs” → “Extract Text”
  • 结构:## 概述 → ## 快速开始 → ## 任务类别 1 → ## 任务类别 2……

3. 参考文档 / 规范指南型(适用于标准、规范或品牌准则类内容)

  • 适用于品牌规范、编码标准、业务需求说明等场景
  • 示例:品牌样式指南中,“Brand Guidelines” → “Colors” → “Typography” → “Features”
  • 结构:## 概述 → ## 规范指南 → ## 技术规格 → ## 使用方法……

4. 基于能力的组织方式(适用于高度集成的系统类技能)

  • 适用于提供多个相互关联功能的技能
  • 示例:产品管理技能中,“Core Capabilities” → 编号的能力列表
  • 结构:## 概述 → ## 核心能力 → ### 1. 功能 → ### 2. 功能……

上述结构可根据实际需要混合使用。多数技能会组合多种模式(例如:以任务型为主干,对复杂流程补充工作流说明)。

完成编写后,请删除本节“Structuring This Skill”——此仅为指导性内容。

[TODO: 替换为根据所选结构确定的第一个主章节]

[TODO: 在此处添加具体内容。可参考已有技能中的示例:

  • 技术类技能:提供可运行的代码片段
  • 流程类技能:提供决策树图示或分支逻辑说明
  • 交互类技能:提供贴近真实场景的用户请求与响应示例
  • 必要时引用 scripts/、templates/ 或 references/ 中的具体文件]

资源

本技能包含若干示例资源目录,用于展示如何组织不同类型的内嵌资源:

scripts/

可直接执行的代码文件(Python/Bash 等),用于完成特定操作。

其他技能中的示例:

  • PDF 技能:fill_fillable_fields.py、extract_form_field_info.py —— PDF 处理工具
  • DOCX 技能:document.py、utilities.py —— 文档处理 Python 模块

适用范围:Python 脚本、Shell 脚本,或其他任何用于自动化、数据处理或执行具体任务的可执行代码。

注意:脚本可在不加载上下文的情况下直接调用;但 Claude 仍可读取其内容,用于补丁生成或环境适配。

references/

面向上下文加载的文档与参考资料,用于辅助 Claude 的推理与执行过程。

其他技能中的示例:

  • 产品管理:communication.md、context_building.md —— 详细的工作流指南
  • BigQuery:API 参考文档与查询语句示例
  • 金融领域:数据库 Schema 文档、公司政策文件

适用范围:深度技术文档、API 参考手册、数据库 Schema、完整操作指南,或任何 Claude 在执行过程中需频繁查阅的详细信息。

assets/

不参与上下文加载,仅在 Claude 输出结果中被引用或嵌入使用的资源文件。

其他技能中的示例:

  • 品牌样式:.pptx 演示文稿模板、Logo 图像文件
  • 前端构建器:HTML / React 项目脚手架目录
  • 字体排印:字体文件(.ttf、.woff2)

适用范围:模板文件、脚手架代码、文档模板、图片、图标、字体,或任何需复制到最终输出产物中的资源。

无需的目录可直接删除。 并非所有技能都需要全部三类资源。

相关专题

更多
Docker Desktop怎么设置端口映射
Docker Desktop怎么设置端口映射

本专题聚焦Docker Desktop容器端口映射与访问配置,整理从创建容器、设置端口绑定到验证本地服务访问的操作流程。针对端口被占用、映射配置错误、容器服务无法访问等情况,也提供相应的检查方向,方便用户完成端口配置。

2026.11.03

0

18

Docker Desktop镜像构建教程
Docker Desktop镜像构建教程

想使用Docker Desktop将本地项目构建成Docker镜像?本专题围绕镜像构建的实际操作展开,介绍Dockerfile编写、构建命令使用、镜像标签设置和构建日志查看等内容,同时整理镜像无法生成、依赖安装失败及构建缓存异常等问题的排查思路。

2026.11.03

0

11

Docker Desktop容器创建指南
Docker Desktop容器创建指南

本专题聚焦Docker Desktop容器创建与运行配置,介绍通过本地镜像或远程镜像创建容器的方法,以及容器启动、终端访问、日志查看和基础管理等操作。针对端口冲突、参数配置不当、容器无法启动等情况,也整理了相应的排查方向。

2026.11.03

0

11

Tailwind CSS 如何制作导航栏和卡片
Tailwind CSS 如何制作导航栏和卡片

用 Tailwind CSS 制作导航栏和卡片,可先搭建语义化结构,再组合 Flex、Grid、间距、圆角与阴影类。这里整理横向导航、移动端菜单、卡片网格及悬停效果的相关文章,帮助你把常见页面组件做得清晰且适配不同屏幕。

2026.11.03

0

17

Tailwind CSS 响应式布局怎么写
Tailwind CSS 响应式布局怎么写

Tailwind CSS 响应式布局通常从移动端样式写起,再用 sm、md、lg 等前缀调整不同屏幕宽度下的网格、间距和导航。本专题整理断点配置、Grid 与 Flex 自适应布局及常见溢出问题,帮助你逐步完成多设备适配。

2026.11.03

0

19

Tailwind CSS 常用类名怎么记
Tailwind CSS 常用类名怎么记

Tailwind CSS 类名很多,先按布局、间距、文字、颜色和状态分组记忆,再通过官方文档检索具体写法。本专题结合类名排序、动态拼接失效、自定义实用类等问题,帮助你建立常用类名的速查方法。

2026.11.03

0

12

码上飞入口地址合集
码上飞入口地址合集

本专题汇总了码上飞(CodeFlying)的官方入口地址合集,涵盖官网主站及网页版在线使用入口,支持注册登录后直接在线体验零代码AI应用生成。同时整理了APP端下载渠道与小程序入口,助你快速访问平台,通过自然语言描述需求即可生成应用、小程序或网站。

2026.11.03

0

10

Uvicorn 报错与问题解决教程
Uvicorn 报错与问题解决教程

本专题汇总了Uvicorn服务器常见问题与报错解决的教程合集,涵盖启动失败、端口占用、模块导入错误、事件循环冲突及热重载失效等典型故障的排查思路。同时整理了多进程与Worker配置、SSL/HTTPS证书报错、跨域与代理配置等实战解决方案,助你快速定位并解决Uvicorn运行中的各类问题。

2026.11.02

0

14

Uvicorn使用教程
Uvicorn使用教程

本专题汇总了Uvicorn使用教程与启动运行指南,涵盖其作为Python ASGI服务器的定位与特点,以及命令行启动(uvicorn main:app --reload)、参数配置(host/port/workers)、程序内嵌运行与Gunicorn结合部署等核心用法。同时整理了热重载调试、日志配置与生产环境部署优化等技巧,助你快速掌握Uvicorn的运行与配置。

2026.11.02

0

17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.1万人学习