Bilibili Up To Kb

Polar Sponsor
爱发电 赞助
.NET 9.0

将B站视频转换为可搜索的文本知识库。支持单个视频及批量处理UP主频道。使用本地 whisper.cp...

Bilibili Up 到 KB. 将 B / 整个频道的视频( 单个或整个频道) 转换为清理的、结构化的文本知识库.

功能概述

Bilibili Up 到 KB. 将 B / 整个频道的视频( 单个或整个频道) 转换为清理的、结构化的文本知识库.是一项面向实际任务的技能,主要用于Design 原则.;Agent boards, 脚本执行;

核心要点

  • 代理的任务就是决定。
  • 它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。
  • 使用时应结合输入条件选择合适的执行方式,核对必要参数、依赖环境与输出内容,并按原始要求处理异常情况。

使用与执行

该技能适合需要稳定复用相关能力的场景,可作为自动化工作流的一部分,也便于后续检查、调整和扩展。从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;

结果检查与注意事项

若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。

Bilibili UP 主转知识库(KB)

将 B 站视频(单个或整频道)转换为清洗后、结构化的文本知识库。

设计原则

Agent 负责编排,脚本负责执行。 Agent 的职责是决定 做什么 并触发正确的脚本。所有机械性、重复性工作(下载、转录、清洗)均由具备内置并行能力的 Shell 脚本完成。Agent 绝不会逐个遍历视频 —— 它仅运行 一条命令,由脚本在内部处理并发逻辑。

输出结构

kb/UP主名_UID/
├── BV号_视频标题.txt          # 清洗后的转录文本(面向用户)
├── BV号_视频标题.meta.json    # 视频元数据
├── index.md                   # 汇总索引页
└── .raw/                      # 隐藏目录:whisper 原始转录文本(如有)
    └── BV号_视频标题.txt

关键设计决策:

  • 文件名中包含标题以提升可读性(BV1xxx_标题.txt)
  • 文件夹名包含 UP 主名称(UP主名_UID/)
  • 原始 whisper 转录文本存放于 .raw/ 目录下并默认隐藏
  • 不使用 _clean 后缀 —— 清洗后的文件即为主力文件
  • 每条视频对应一个 .meta.json,含标题、上传者、时长等元信息

完整流程

步骤 1:下载 AI 字幕(速度快,支持高并发)

# 并发 30–50 是安全的 —— B站 CDN 可承受
scripts/batch_channel.sh "https://space.bilibili.com/UID/" ./kb/output zh 0 30

步骤 2:对无 AI 字幕的视频运行 whisper(并发必须低!)

# Metal GPU 最多仅能稳定运行 1–4 个 whisper 实例
# 并发数更高反而导致整体变慢(GPU 饱和)
scripts/batch_channel.sh "https://space.bilibili.com/UID/" ./kb/output zh 0 2 --whisper-only

步骤 3:清洗 + 生成索引

# 清洗 whisper 转录文本(AI 字幕自动跳过)
scripts/batch_clean.sh ./kb/UP主名_UID/
scripts/generate_index.sh ./kb/UP主名_UID/

并发指南

关键:不同阶段需采用不同并发策略!

阶段 瓶颈 推荐并发数 原因
AI 字幕下载 网络 30–50 B站 CDN 支持高并发访问
Whisper 转录 Metal GPU 1–4 GPU 饱和,过多并发反而降低总吞吐
转录文本清洗 API 调用频率限制 全部串行(0 并发) 纯网络 I/O,无本地计算负载

快速开始 — 单视频处理

scripts/transcribe.sh "https://www.bilibili.com/video/BV..." ./output zh

转录文本清洗

AI 字幕质量足够高 —— 默认跳过清洗。

来源 是否需要清洗?
B站 AI 字幕 否 —— 可直接使用
whisper 回退转录 是 —— 必须经过清洗流程

清洗使用模型:opencode/minimax-m2.5-free:

  1. 修正同音错字与乱码词
  2. 补充标点符号
  3. 输出必须为简体中文
  4. 对存疑的专有名词保持原样,不做修改
  5. 绝不将一个真实术语替换为另一个

分块大小:80 行。重试机制:最多尝试 3 次,每次间隔 3 秒。

⚠️ 长耗时任务

使用 nohup 避免终端会话中断导致进程被终止:

nohup bash scripts/batch_clean.sh ./kb/UP主名_UID/ 0 80 > /tmp/clean.log 2>&1 &

batch_clean.sh 支持断点续传 —— 中断后可安全重新运行。

⚠️ 大型频道处理(1000+ 视频)

脚本自动识别大型频道(视频数 > 800),按分块拉取以规避超时。

# 自动分块,中断后只需重新运行即可续传
nohup bash scripts/batch_channel.sh "https://space.bilibili.com/UID/" ./kb/output > /tmp/batch.log 2>&1 &

若仍失败,可手动获取 URL 列表:

for i in $(seq 1 500 2000); do
  yt-dlp --flat-playlist --playlist-start $i --playlist-end $((i+499)) 
    --print url "https://space.bilibili.com/UID/" >> /tmp/urls.txt
done
cat /tmp/urls.txt | xargs -P 20 -I {} bash scripts/transcribe.sh {} ./kb/OUTPUT zh

⚠️ 散热与风扇告警

务必保障系统散热 —— 避免风扇启动!

阶段 风险等级 缓解措施
Whisper(GPU) 高 并发数 ≤ 2,持续监控温度
AI 字幕下载 低 可安全运行 30–50 并发
清洗(API) 无 纯网络 I/O,无本地计算负载

一旦风扇启动:

  • 立即停止所有 whisper 进程
  • 等待系统充分降温
  • 以更低并发(1–2)恢复运行
# 查看 GPU 温度(CUDA 用户)
nvidia-smi

# 查看 Mac CPU/GPU 温度
sudo powermetrics --sample-rate 1000 -i 1 -n 1 | grep -E "CPU|GPU"

依赖项

必需依赖:yt-dlp、ffmpeg、whisper.cpp(含模型)、opencode CLI 可选依赖:浏览器 Cookies(用于访问会员专属内容,参数:--cookies-from-browser chrome)

环境变量

变量名 默认值 说明
WHISPER_CLI whisper-cli whisper.cpp 可执行文件路径
WHISPER_MODEL ~/.whisper-cpp/ggml-small.bin whisper 模型路径
OPENCODE_BIN ~/.opencode/bin/opencode opencode CLI 路径
CLEAN_MODEL opencode/minimax-m2.5-free 清洗所用模型

使用提示

  • 中国大陆用户:建议通过 hf-mirror.com 下载 whisper 模型
  • 长视频(1 小时以上):自动切分为 10 分钟片段进行处理
  • 支持断点续传:所有批量脚本均跳过已处理完成的文件

相关专题

更多
GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

2026.11.17

0

15

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.17

0

15

GoFrame框架零基础入门
GoFrame框架零基础入门

本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。

2026.11.17

0

15

SQLAlchemy 一对多关系怎么建立
SQLAlchemy 一对多关系怎么建立

SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。

2026.11.17

0

10

SQLAlchemy 如何增删改查
SQLAlchemy 如何增删改查

SQLAlchemy 如何增删改查?本专题整理 ORM 新增记录、条件查询、更新和删除、Session 事务提交与批量处理等实用文章,帮助你掌握 Python 数据库操作流程。

2026.11.17

0

11

SQLAlchemy ORM 模型怎么写
SQLAlchemy ORM 模型怎么写

SQLAlchemy ORM 模型怎么写?本专题整理模型类定义、Mapped 字段映射、主键与约束、表结构创建和常见报错的相关文章,帮助你从基础配置到实际建模逐步掌握 SQLAlchemy。

2026.11.17

0

16

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

2026.11.12

0

15

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.12

0

15

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

2026.11.12

0

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程