将B站视频转换为可搜索的文本知识库。支持单个视频及批量处理UP主频道。使用本地 whisper.cp...
Bilibili Up 到 KB. 将 B / 整个频道的视频( 单个或整个频道) 转换为清理的、结构化的文本知识库.是一项面向实际任务的技能,主要用于Design 原则.;Agent boards, 脚本执行;
该技能适合需要稳定复用相关能力的场景,可作为自动化工作流的一部分,也便于后续检查、调整和扩展。从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;
若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。
将 B 站视频(单个或整频道)转换为清洗后、结构化的文本知识库。
Agent 负责编排,脚本负责执行。 Agent 的职责是决定 做什么 并触发正确的脚本。所有机械性、重复性工作(下载、转录、清洗)均由具备内置并行能力的 Shell 脚本完成。Agent 绝不会逐个遍历视频 —— 它仅运行 一条命令,由脚本在内部处理并发逻辑。
kb/UP主名_UID/
├── BV号_视频标题.txt # 清洗后的转录文本(面向用户)
├── BV号_视频标题.meta.json # 视频元数据
├── index.md # 汇总索引页
└── .raw/ # 隐藏目录:whisper 原始转录文本(如有)
└── BV号_视频标题.txt
关键设计决策:
BV1xxx_标题.txt)UP主名_UID/).raw/ 目录下并默认隐藏_clean 后缀 —— 清洗后的文件即为主力文件.meta.json,含标题、上传者、时长等元信息# 并发 30–50 是安全的 —— B站 CDN 可承受 scripts/batch_channel.sh "https://space.bilibili.com/UID/" ./kb/output zh 0 30
# Metal GPU 最多仅能稳定运行 1–4 个 whisper 实例 # 并发数更高反而导致整体变慢(GPU 饱和) scripts/batch_channel.sh "https://space.bilibili.com/UID/" ./kb/output zh 0 2 --whisper-only
# 清洗 whisper 转录文本(AI 字幕自动跳过) scripts/batch_clean.sh ./kb/UP主名_UID/ scripts/generate_index.sh ./kb/UP主名_UID/
关键:不同阶段需采用不同并发策略!
| 阶段 | 瓶颈 | 推荐并发数 | 原因 |
|---|---|---|---|
| AI 字幕下载 | 网络 | 30–50 | B站 CDN 支持高并发访问 |
| Whisper 转录 | Metal GPU | 1–4 | GPU 饱和,过多并发反而降低总吞吐 |
| 转录文本清洗 | API 调用频率限制 | 全部串行(0 并发) | 纯网络 I/O,无本地计算负载 |
scripts/transcribe.sh "https://www.bilibili.com/video/BV..." ./output zh
AI 字幕质量足够高 —— 默认跳过清洗。
| 来源 | 是否需要清洗? |
|---|---|
| B站 AI 字幕 | 否 —— 可直接使用 |
| whisper 回退转录 | 是 —— 必须经过清洗流程 |
清洗使用模型:opencode/minimax-m2.5-free:
分块大小:80 行。重试机制:最多尝试 3 次,每次间隔 3 秒。
使用 nohup 避免终端会话中断导致进程被终止:
nohup bash scripts/batch_clean.sh ./kb/UP主名_UID/ 0 80 > /tmp/clean.log 2>&1 &
batch_clean.sh 支持断点续传 —— 中断后可安全重新运行。
脚本自动识别大型频道(视频数 > 800),按分块拉取以规避超时。
# 自动分块,中断后只需重新运行即可续传 nohup bash scripts/batch_channel.sh "https://space.bilibili.com/UID/" ./kb/output > /tmp/batch.log 2>&1 &
若仍失败,可手动获取 URL 列表:
for i in $(seq 1 500 2000); do
yt-dlp --flat-playlist --playlist-start $i --playlist-end $((i+499))
--print url "https://space.bilibili.com/UID/" >> /tmp/urls.txt
done
cat /tmp/urls.txt | xargs -P 20 -I {} bash scripts/transcribe.sh {} ./kb/OUTPUT zh
务必保障系统散热 —— 避免风扇启动!
| 阶段 | 风险等级 | 缓解措施 |
|---|---|---|
| Whisper(GPU) | 高 | 并发数 ≤ 2,持续监控温度 |
| AI 字幕下载 | 低 | 可安全运行 30–50 并发 |
| 清洗(API) | 无 | 纯网络 I/O,无本地计算负载 |
一旦风扇启动:
# 查看 GPU 温度(CUDA 用户) nvidia-smi # 查看 Mac CPU/GPU 温度 sudo powermetrics --sample-rate 1000 -i 1 -n 1 | grep -E "CPU|GPU"
必需依赖:yt-dlp、ffmpeg、whisper.cpp(含模型)、opencode CLI
可选依赖:浏览器 Cookies(用于访问会员专属内容,参数:--cookies-from-browser chrome)
| 变量名 | 默认值 | 说明 |
|---|---|---|
WHISPER_CLI |
whisper-cli |
whisper.cpp 可执行文件路径 |
WHISPER_MODEL |
~/.whisper-cpp/ggml-small.bin |
whisper 模型路径 |
OPENCODE_BIN |
~/.opencode/bin/opencode |
opencode CLI 路径 |
CLEAN_MODEL |
opencode/minimax-m2.5-free |
清洗所用模型 |
hf-mirror.com 下载 whisper 模型相关专题
热门下载
相关下载
精品课程
共0课时 | 0人学习
共206课时 | 40.8万人学习
共14课时 | 2.8万人学习