如何用Python实现自动采集今日头条热搜榜_分析Ajax请求获取JSON数据-Python教程-PHP中文网

今日头条热搜榜的真实ajax接口可通过f12打开network→xhr，筛选含“hot”或“hotboard”的请求，典型url为https://www.toutiao.com/hot-event/hot-board/，需携带referer、user-agent及有效cookie（含tt_webid）才能成功获取json数据。

如何用python实现自动采集今日头条热搜榜_分析ajax请求获取json数据

怎么找到今日头条热搜榜的真实Ajax接口

今日头条网页版的热搜榜数据不是直接渲染在HTML里的，而是通过前端JavaScript发起Ajax请求加载的JSON。关键是要定位到那个带hot_search或search_hot字样的请求——它通常出现在Network面板的XHR分类下，且响应体是标准JSON格式。

实操建议：

打开 https://www.toutiao.com/hotnews/，F12 → Network → XHR，刷新页面，筛选出含 hot 或 search 的请求
重点关注请求URL中带 https://www.toutiao.com/hotboard/ 或 https://www.toutiao.com/api/pc/hot/ 的条目
点开查看Headers里的Referer和User-Agent，这两个字段多数时候必须携带，否则返回403或空数据
注意响应里是否有data字段嵌套多层，常见结构是 data.data.list 或 data.data

为什么用requests直接请求会返回空或报错

因为今日头条服务端做了基础反爬：校验Referer、User-Agent，还可能校验X-Requested-With（标示AJAX请求）和Cookie中的tt_webid或tt_webid_ss。缺一不可，尤其tt_webid过期会导致返回{"message":"invalid param"}这类错误。

实操建议：

先手动访问一次 https://www.toutiao.com/hotnews/，复制浏览器当前请求的完整Headers（尤其是Cookie整段）
在Python中用requests.get(url, headers=headers, timeout=5)，别漏掉timeout，避免卡死
如果返回状态码是200但json().get("data")为None，大概率是Cookie失效，需重新抓包更新
不建议用Selenium模拟浏览器——太重，纯requests加合理headers足够稳定

如何解析返回的JSON并提取热搜标题和热度值

真实响应结构经常变，目前（2024年中）主流接口返回的是一个data数组，每个元素含title、hot_value、rank等字段，但hot_value可能是字符串或数字，且部分条目含广告标记（is_ad为True）。

huaweicloud-python-sdk-helper

华为云 Python SDK 查询工具。自动发现已安装 SDK 的服务包、Client类、API 方法、入参详情、类信息（__init__ 参数、属性、类型、描述），支持关键字搜索，快速定位目标 API 使用方法。

下载

实操建议：

先用print(json.dumps(res.json(), indent=2, ensure_ascii=False))看一眼原始结构，别硬猜
安全提取用item.get("title", "")而非item["title"]，防止KeyError
热度值优先取item.get("hot_value")，若为空再 fallback 到item.get("score")或item.get("view_count")
过滤广告项：if not item.get("is_ad")，避免把“推广”类内容当真实热搜