TikTok Crawling (yt-dlp)

Polar Sponsor
爱发电 赞助
.NET 9.0

用于TikTok爬取、内容获取和分析

TikTok 与 yt- dlp.yt- dlp 一起下载视频/音频的 CLI ,用于从 TikTok 和许多其他网站下载视频/音频.

功能概述

TikTok 与 yt- dlp.yt- dlp 一起下载视频/音频的 CLI ,用于从 TikTok 和许多其他网站下载视频/音频.是一项面向实际任务的技能,主要用于Setup.;Download Patterns.;

核心要点

  • Single Video.;
  • Entiire Profile.;
  • Creates:.;

使用与执行

Multiplical Profiles.Search, Hasht。它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;

结果检查与注意事项

若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。该技能适合用于一次性任务,也可以接入自动化工作流,与其他技能或上层代理配合完成更完整的业务链路;在组合使用时,应明确每一步的输入输出关系,并避免不同步骤之间出现参数冲突。

使用 yt-dlp 抓取 TikTok 内容

yt-dlp 是一个命令行工具(CLI),用于从 TikTok 及众多其他网站下载视频/音频。

环境准备

# macOS
brew install yt-dlp ffmpeg

# pip(适用于所有平台)
pip install yt-dlp
# 同时需单独安装 ffmpeg,以支持合并与后处理

下载模式

单个视频

yt-dlp "https://www.tiktok.com/@handle/video/1234567890"

整套个人主页

yt-dlp "https://www.tiktok.com/@handle" 
  -P "./tiktok/data" 
  -o "%(uploader)s/%(upload_date)s-%(id)s/video.%(ext)s" 
  --write-info-json

生成如下目录结构:

tiktok/data/
  handle/
    20260220-7331234567890/
      video.mp4
      video.info.json

多个个人主页

for handle in handle1 handle2 handle3; do
  yt-dlp "https://www.tiktok.com/@$handle" 
    -P "./tiktok/data" 
    -o "%(uploader)s/%(upload_date)s-%(id)s/video.%(ext)s" 
    --write-info-json 
    --download-archive "./tiktok/downloaded.txt"
done

搜索、话题标签与音效

# 按关键词搜索
yt-dlp "tiktoksearch:cooking recipes" --playlist-end 20

# 话题页
yt-dlp "https://www.tiktok.com/tag/booktok" --playlist-end 50

# 使用特定音效的视频
yt-dlp "https://www.tiktok.com/music/original-sound-1234567890" --playlist-end 30

格式选择

# 列出可用格式
yt-dlp -F "https://www.tiktok.com/@handle/video/1234567890"

# 下载指定格式(例如:在可选范围内下载最佳无水印视频)
yt-dlp -f "best" "https://www.tiktok.com/@handle/video/1234567890"

筛选条件

按日期筛选

# 发布于某日期或之后
--dateafter 20260215

# 发布于某日期之前
--datebefore 20260220

# 发布于精确日期
--date 20260215

# 日期范围
--dateafter 20260210 --datebefore 20260220

# 相对日期(macOS / Linux)
--dateafter "$(date -u -v-7d +%Y%m%d)"           # macOS:最近 7 天
--dateafter "$(date -u -d '7 days ago' +%Y%m%d)" # Linux:最近 7 天

按指标与内容筛选

# 播放量 ≥ 10 万
--match-filters "view_count >= 100000"

# 时长介于 30–60 秒之间
--match-filters "duration >= 30 & duration <= 60"

# 标题包含 “recipe”(不区分大小写)
--match-filters "title ~= (?i)recipe"

# 组合条件:2026 年 2 月发布、播放量 ≥ 5 万
yt-dlp "https://www.tiktok.com/@handle" 
  --match-filters "view_count >= 50000" 
  --dateafter 20260201

仅获取元数据(不下载)

预览将要下载的内容

yt-dlp "https://www.tiktok.com/@handle" 
  --simulate 
  --print "%(upload_date)s | %(view_count)s views | %(title)s"

导出为 JSON

# 单一 JSON 数组
yt-dlp "https://www.tiktok.com/@handle" --simulate --dump-json > handle_videos.json

# JSONL 格式(每行一个对象,适合大规模数据集)
yt-dlp "https://www.tiktok.com/@handle" --simulate -j > handle_videos.jsonl

导出为 CSV

yt-dlp "https://www.tiktok.com/@handle" 
  --simulate 
  --print-to-file "%(uploader)s,%(id)s,%(upload_date)s,%(view_count)s,%(like_count)s,%(webpage_url)s" 
  "./tiktok/analysis/metadata.csv"

使用 jq 分析

# 从已下载的 .info.json 文件中提取播放量最高的前 10 个视频
jq -s 'sort_by(.view_count) | reverse | .[:10] | .[] | {title, view_count, url: .webpage_url}' 
  tiktok/data/*/*.info.json

# 所有视频总播放量
jq -s 'map(.view_count) | add' tiktok/data/*/*.info.json

# 按上传日期分组统计视频数量
jq -s 'group_by(.upload_date) | map({date: .[0].upload_date, count: length})' 
  tiktok/data/*/*.info.json

提示:如需更深入的分析与可视化,可将 JSONL 或 CSV 导出文件加载至 Python 中,配合 pandas 库使用。适用于制作互动率散点图、发帖频率趋势图,或跨创作者对比关键指标等场景。

持续性抓取

归档机制(跳过已下载内容)

--download-archive 参数用于记录已下载视频,从而支持增量更新:

yt-dlp "https://www.tiktok.com/@handle" 
  -P "./tiktok/data" 
  -o "%(uploader)s/%(upload_date)s-%(id)s/video.%(ext)s" 
  --write-info-json 
  --download-archive "./tiktok/downloaded.txt"

后续再次运行相同命令时,将自动跳过 downloaded.txt 中已记录的视频。

身份认证(私有/受限内容)

# 使用浏览器 Cookies(推荐方式)
yt-dlp --cookies-from-browser chrome "https://www.tiktok.com/@handle"

# 或先将 Cookies 导出为文件再使用
yt-dlp --cookies tiktok_cookies.txt "https://www.tiktok.com/@handle"

定时抓取(Cron)

# crontab -e
# 每日凌晨 2 点执行,输出日志
0 2 * * * cd /path/to/project && ./scripts/scrape-tiktok.sh >> ./tiktok/logs/cron.log 2>&1

示例脚本 scripts/scrape-tiktok.sh:

#!/bin/bash
set -e

HANDLES="handle1 handle2 handle3"
DATA_DIR="./tiktok/data"
ARCHIVE="./tiktok/downloaded.txt"

for handle in $HANDLES; do
  echo "[$(date)] Scraping @$handle"
  yt-dlp "https://www.tiktok.com/@$handle" 
    -P "$DATA_DIR" 
    -o "%(uploader)s/%(upload_date)s-%(id)s/video.%(ext)s" 
    --write-info-json 
    --download-archive "$ARCHIVE" 
    --cookies-from-browser chrome 
    --dateafter "$(date -u -v-7d +%Y%m%d)" 
    --sleep-interval 2 
    --max-sleep-interval 5
done
echo "[$(date)] Done"

故障排查

问题 解决方案
返回空结果 / 未找到任何视频 添加 --cookies-from-browser chrome — TikTok 对匿名请求实施速率限制
返回 403 Forbidden 错误 已被限速。建议等待 10–15 分钟,或改用 Cookies / 更换 IP 地址
显示 “Video unavailable”(视频不可用) 地域限制导致。尝试添加 --geo-bypass 参数,或使用 VPN
下载的视频含水印 使用 -F 查看可用格式;部分格式可能不含水印
下载速度缓慢 添加 --concurrent-fragments 4 以提升并发下载速度
个人主页显示视频数少于预期 TikTok API 存在限制。请显式指定 --playlist-end N,并配合 Cookies 尝试

调试模式

# 输出详细日志以诊断问题
yt-dlp -v "https://www.tiktok.com/@handle" 2>&1 | tee debug.log

参考文档

常用参数

参数 说明
-o TEMPLATE 输出文件名模板
-P PATH 基础下载目录路径
--dateafter DATE 仅下载发布于该日期及之后的视频(格式:YYYYMMDD)
--datebefore DATE 仅下载发布于该日期及之前的视频
--playlist-end N 达到 N 个视频后停止下载
--match-filters EXPR 基于元数据(如播放量、时长、标题)进行过滤
--write-info-json 为每个视频保存一份元数据 JSON 文件
--download-archive FILE 记录已下载项,避免重复下载
--simulate / -s 模拟运行,不实际下载
-j / --dump-json 以 JSON 格式输出元数据
--cookies-from-browser NAME 读取指定浏览器中的 Cookies
--sleep-interval SEC 两次下载间强制休眠(秒),避免触发限速机制

输出模板变量

变量 示例输出
%(id)s 7331234567890
%(uploader)s handle
%(upload_date)s 20260215
%(title).50s 标题的前 50 个字符
%(view_count)s 1500000
%(like_count)s 250000
%(ext)s mp4

完整模板语法参考 →

相关专题

更多
tiktok官网入口
tiktok官网入口

本专题整合了tiktok官网入口的相关链接,想了解更多相关内容,请阅读下面的文章。

2025.03.07

22376

31

tiktok入口
tiktok入口

本专题整合了tiktok入口的相关链接,想了解更多相关内容,请阅读下面的文章。

2025.03.07

6209

24

tiktok是什么
tiktok是什么

tiktok是由中国公司字节跳动推出的一款短视频社交媒体应用,在2016年下半年首次发布,tiktok主要在中国市场发展起来,并一度在国内取得了巨大的成功,随着时间的推移,tiktok开始在全球范围内推广,其中北美、欧洲和印度等地迅速增长。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2025.01.17

9816

6

tiktok什么意思
tiktok什么意思

tiktok是抖音的英文名称,于2018年8月在全球范围内推出,tiktok是一款社交媒体应用程序,它允许用户创建和分享短视频。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.08.12

5316

5

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

2026.10.28

0

16

Vite 如何搭配 Vue.js
Vite 如何搭配 Vue.js

Vite搭配Vue.js专题汇集创建Vue 3项目、配置开发环境、路径别名、Vue插件、代理、多环境构建与调试的已审核文章,帮助读者完成从初始化到日常开发的配置。

2026.10.28

0

15

Vite 项目目录怎么看
Vite 项目目录怎么看

Vite项目目录专题汇集入口文件、src源码、public静态资源、路径别名、项目根目录和构建输出目录相关的已审核文章,帮助读者理解各文件夹的用途与引用方式。

2026.10.28

0

10

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

2026.10.22

0

11

Gradle Wrapper配置教程
Gradle Wrapper配置教程

本专题介绍Gradle Wrapper的基本作用,涵盖文件组成、生成方法、版本配置和任务调用,帮助你理解项目如何使用指定的Gradle版本,减少不同开发环境带来的构建差异。

2026.10.22

0

10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.1万人学习