Python爬虫怎么抓取短视频数据_从页面分析获取真实视频URL-Python教程-PHP中文网

短视频平台HTML中无真实视频URL，因地址藏于XHR接口响应的加密字段中，需通过浏览器抓包定位接口、复现带签名的请求或用Playwright等工具执行JS获取。

python爬虫怎么抓取短视频数据_从页面分析获取真实视频url

为什么直接请求页面 HTML 拿不到视频 URL

短视频平台（如抖音、快手）的首页或详情页 HTML 里基本不写真实视频地址，video 标签要么没有，要么 src 是占位符或低质预览图。真实地址藏在 XHR 请求响应里，通常是 JSON 接口返回的加密字段或带签名的链接。

常见错误现象：
• 用 requests.get(url) 拿到的 HTML 里搜 "mp4" 或 "video" 一无所获
• 浏览器开发者工具里能看到网络面板有 /aweme/v1/web/video/feed/ 这类请求，但 Python 里复现失败

关键原因是：这些接口强制校验 Referer、User-Agent，还依赖动态生成的 signature 或 msToken 参数
部分接口要求登录态（sessionid 或 cookie 中的 odin_tt），未携带会返回 {"status_code":10110,"status_msg":"Forbidden"}
JS 渲染页（如抖音 PC 端）必须用无头浏览器抓首屏，否则连接口请求都触发不了

怎么定位真实视频接口（以抖音为例）

打开 Chrome 开发者工具 → Network → 切到 XHR → 刷新页面 → 找含 video、aweme、item 的请求。重点看响应体是否含 "play_addr" 或 "video_list" 字段。

典型路径：/aweme/v1/web/aweme/detail/（单视频）、/aweme/v1/web/video/feed/（信息流）。注意查询参数里的 aweme_id、count、cursor 都是关键标识。

别只盯着 Response 标签——点 Headers 看 Request URL 全路径和 Query String Parameters
复制该请求 → 右键 → Copy as cURL (bash) → 粘贴到在线工具（如 curlconverter.com）转成 Python requests 代码，能省掉 80% 的 header 配置
如果接口返回空或 "status_code": 0 但没数据，大概率是 sign 过期了——这个值通常由前端 JS 计算，不能硬编码

绕过 signature 校验的实用方案

抖音系接口的 _signature 参数是基于 URL 和时间戳用 JS 算出来的，Python 直接仿写容易出错且维护成本高。更稳的做法是复用浏览器环境。

Python Hardener

通过完整的安全审查、代码整洁重构、健壮的错误处理、正确的日志记录以及完整的文档字符串覆盖，强化 Python 脚本。

下载

用 selenium 或 playwright 启动 Chromium，执行 JS 提取 window.byted_acrawler.sign({url: 'xxx'}) 返回值
轻量替代：用 execjs 运行提取出的签名函数（需先从网页源码里扒下 byted_acrawler.js 或对应逻辑），但 JS 更新后立刻失效
最省事但有代价：放弃纯 requests，改用 playwright.sync_api.sync_playwright().start() 直接走真实浏览器上下文，所有 header、cookie、sign 自动带上

示例（Playwright 提取视频地址）：

from playwright.sync_api import sync_playwright
with sync_playwright() as p:
    browser = p.chromium.launch()
    page = browser.new_page()
    page.goto("https://www.douyin.com/video/729xxxx")
    # 等待接口完成，再取 response
    video_url = page.evaluate('''() => {
        const req = [...performance.getEntriesByType("resource")].find(r => r.name.includes("aweme/detail"));
        return req ? JSON.parse(req.responseEnd).aweme_detail.video.play_addr.url_list[0] : null;
    }''')
    print(video_url)
    browser.close()

下载前必须检查的三个字段

拿到 url_list 里的链接别急着 requests.get()，先确认三件事：

url_list 通常有多个地址，优先选 ratio 含 "720p" 或 "1080p" 的项，避开 "playwm"（带水印）和 "playadr"（防盗链跳转）
检查链接是否含 ?expires= 和 &signature= —— 这类 URL 有效期常短于 60 秒，必须立刻下载，缓存或延迟会导致 403 Forbidden
发起下载请求时，headers 必须包含原始请求中的 Referer（如 https://www.douyin.com/），否则返回空响应或重定向到错误页

一个容易被忽略的细节：某些平台（如小红书）的视频 URL 响应头里带 Content-Disposition: attachment; filename="xxx.mp4"，但实际返回的是 HTML 错误页——这时候要先检查 response.status_code 和 response.headers.get("Content-Type") 是否为 "video/mp4"。

Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！