智能小说抓取工具，自动翻页、分页补全、章节号解析。使用 curl+BeautifulSoup 抓取笔趣阁等网站，输出格式化 TXT；每 10 章合并为一份文档，自动跳过作者感言、抽奖等非正文内容。适用于批量抓取网络小说章节。
Novel Scraper - 小说抓取工具
功能概述
Novel Scraper - 小说抓取工具是一项面向实际任务的技能，主要用于版本说明 ：novel-scraper 提供两个版本，根据需求选择使用；📦 版本对比；
核心要点
- v1.4.0（生产版）；
- V5（智能版）；
- 章节号解析；
使用与执行
URL ID 推算；标题提取 ✅；✅ 自动 ✅；✅ 自动（最多 5 页）✅；非小说跳过；✅ 智能判断 ✅；✅ 基础验证 ✅；连续性检查；
结果检查与注意事项
✅ 自动检查 ✅。它将相关步骤、工具调用和结果整理方式集中到统一流程中，帮助使用者更快完成目标并减少重复操作。从功能定位来看，该技能强调把分散的操作要求整理成清晰、可复用的处理流程，使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数，再依据技能说明逐步执行；若输入条件不完整，应先补齐信息或采用保守配置，避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期，并对异常提示、缺失字段和边界情况进行处理；涉及批量任务时，还应保存进度，避免中断后重复操作。该技能适合用于一次性任务，也可以接入自动化工作流，与其他技能或上层代理配合完成更完整的业务链路；在组合使用时，应明确每一步的输入输出关系，并避免不同步骤之间出现参数冲突。
Novel Scraper - 小说抓取工具
版本说明：novel-scraper 提供两个版本，根据需求选择使用。
📦 版本对比
| 特性 | v1.4.0（生产版） | V5（智能版） |
|---|---|---|
| 章节号解析 | URL ID 推算 | 标题提取 ✅ |
| 分页检测 | ❌ 无 | ✅ 自动 ✅ |
| 分页补全 | ❌ 无 | ✅ 自动（最多 5 页）✅ |
| 非小说跳过 | ❌ 无 | ✅ 智能判断 ✅ |
| 质量验证 | ❌ 无 | ✅ 基础验证 ✅ |
| 连续性检查 | ❌ 无 | ✅ 自动检查 ✅ |
| 代码量 | 34KB | 18KB |
| 速度 | ⚡ 最快 | ⚡ 快 |
| 推荐场景 | 日常批量抓取 | 高质量/分页章节 |
🚀 快速开始
v1.5.0（推荐）- 按章节号抓取
cd ~/.openclaw/workspace/skills/novel-scraper python3 scripts/scraper_v5.py --chapters 301-400 --book "没钱修什么仙" --merge-interval 10
特点：
- ✅ 按章节号精确筛选（修复索引切片 bug）
- ✅ 自动提示缺失章节
- ✅ 分页自动补全
- ✅ 适合按章节范围抓取的场景
v1.4.0（生产版）- 日常使用
cd ~/.openclaw/workspace/skills/novel-scraper python3 scripts/scraper.py --urls "https://www.bqquge.com/4/1962,https://www.bqquge.com/4/1963,..." --book "没钱修什么仙" --merge-interval 10
特点：
- ✅ 稳定可靠
- ✅ 速度最快
- ✅ 适合已知章节 URL 连续的场景
V5（智能版）- 高质量抓取
python3 scripts/scraper_v5.py --chapters 301-400 --book "没钱修什么仙" --merge-interval 10
特点：
- ✅ 章节号自动解析
- ✅ 分页自动补全
- ✅ 非小说内容智能跳过
- ✅ 适合分页章节较多的场景
📋 命令行参数
v1.5.0 参数（推荐）
| 参数 | 说明 | 默认值 |
|---|---|---|
--chapters |
章节号范围（格式：起始 - 结束） |
- |
--url |
单章 URL | - |
--urls |
多章 URL（逗号分隔） | - |
--book |
书名 | 自动提取 |
--merge-interval |
每 N 章合并 | 10 |
--memory-limit |
内存限制 MB | 2500 |
--auto-close |
每 N 章释放内存 | 3 |
--retry |
重试次数 | 3 |
⚠️ v1.5.0 重要修复：
- 修复索引切片 bug（之前
data[300:400]错误对应章节号 300-419） - 新增
--chapters参数，按章节号精确筛选 - 自动提示缺失章节（网站目录中没有的章节）
V5 参数
| 参数 | 说明 | 默认值 |
|---|---|---|
--chapters |
章节号范围（格式：起始 - 结束） |
- |
--url |
单章 URL | - |
--urls |
多章 URL（逗号分隔） | - |
--book |
书名 | 自动提取 |
--merge-interval |
每 N 章合并 | 10 |
--strict |
严格质量验证 | 关闭 |
-v |
详细日志 | 关闭 |
📁 输出位置
~/.openclaw/workspace/novels/
文件名格式：
- 多章合并：
书名_第 X-Y 章.txt - 单章：
书名_第 X 章.txt
🧪 测试验证
| 测试场景 | 版本 | 结果 |
|---|---|---|
| 第 1-10 章 | V5 | ✅ 119KB，完整 |
| 第 11-20 章 | V5 | ✅ 100KB，完整 |
| 第 111-210 章 | v1.4.0 | ✅ 10 个文件，~700KB |
| 分页补全 | V5 | ✅ 28 段→112 段 |
| 非小说跳过 | V5 | ✅ 自动跳过 |
🔧 故障排除
抓取内容为空
- 检查 URL 格式
- 清除缓存：
rm -rf /tmp/novel_scraper_cache/* - 检查网站是否可访问
章节号不正确
- 使用 V5 自动从标题解析章节号
文件保存位置
ls -lt ~/.openclaw/workspace/novels/ | head -5
版本: 1.4.0
更新: 2026-04-02
详见: CHANGELOG.md
相关专题
本专题汇总了Uvicorn服务器常见问题与报错解决的教程合集，涵盖启动失败、端口占用、模块导入错误、事件循环冲突及热重载失效等典型故障的排查思路。同时整理了多进程与Worker配置、SSL/HTTPS证书报错、跨域与代理配置等实战解决方案，助你快速定位并解决Uvicorn运行中的各类问题。
2026.11.02
0
14
本专题汇总了Uvicorn使用教程与启动运行指南，涵盖其作为Python ASGI服务器的定位与特点，以及命令行启动（uvicorn main:app --reload）、参数配置（host/port/workers）、程序内嵌运行与Gunicorn结合部署等核心用法。同时整理了热重载调试、日志配置与生产环境部署优化等技巧，助你快速掌握Uvicorn的运行与配置。
2026.11.02
0
17
本专题汇总了Uvicorn的安装配置教程与部署指南，涵盖通过pip安装Uvicorn、启动FastAPI/Starlette应用、开发模式热重载（--reload）及多进程工作模式配置等核心操作。同时整理了结合Gunicorn的生产部署方案、HTTPS与反向代理配置及性能调优技巧，助你快速完成Uvicorn服务的安装与上线部署。
2026.11.02
0
17
Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章，帮助读者完成上线流程。
2026.10.28
0
16
Vite搭配Vue.js专题汇集创建Vue 3项目、配置开发环境、路径别名、Vue插件、代理、多环境构建与调试的已审核文章，帮助读者完成从初始化到日常开发的配置。
2026.10.28
0
15
Vite项目目录专题汇集入口文件、src源码、public静态资源、路径别名、项目根目录和构建输出目录相关的已审核文章，帮助读者理解各文件夹的用途与引用方式。
2026.10.28
0
10
本专题介绍Gradle插件开发的基本流程，涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法，帮助你理解插件如何组织构建逻辑，减少多个项目之间的重复配置。
2026.10.22
0
11
本专题介绍Gradle Wrapper的基本作用，涵盖文件组成、生成方法、版本配置和任务调用，帮助你理解项目如何使用指定的Gradle版本，减少不同开发环境带来的构建差异。
2026.10.22
0
10
本专题整理Golangci-lint常用Linters的用途与配置方法，覆盖错误处理、无效代码、安全、复杂度、命名和依赖检查，帮助项目合理选规则。
2026.10.22
0
15
热门下载
相关下载
精品课程
共6课时 | 54.7万人学习
共89课时 | 134.1万人学习
共49课时 | 82.6万人学习
最新文章