如何通过 Kununu 官方 API 稳健抓取完整动态评论与评分数据-html教程-PHP中文网

如何通过 Kununu 官方 API 稳健抓取完整动态评论与评分数据

本文详解如何绕过 kununu 动态加载限制，直接调用其后端 ajax api 分页获取全部员工评论及评分，避免 selenium 点击模拟的不可靠性与 json 数据滞后问题。

本文详解如何绕过 kununu 动态加载限制，直接调用其后端 ajax api 分页获取全部员工评论及评分，避免 selenium 点击模拟的不可靠性与 json 数据滞后问题。

Kununu 页面（如 https://www.kununu.com/de/adidas/kommentare）采用服务端渲染 + 客户端动态加载混合架构：初始 HTML 包含基础结构，但真实评论数据由前端 JavaScript 通过 Ajax 请求后端 API 动态注入。你当前使用的 #__NEXT_DATA__ 脚本标签仅包含首屏（通常为前10条）静态渲染的初始数据，即使通过 Selenium 模拟点击“Read more reviews”，该 JSON 块也不会自动更新——因为它在页面首次渲染后即固化，后续增量数据仅注入 DOM，不重写该脚本节点。

因此，可靠方案不是等待或解析动态 DOM，而是直接对接其真实数据源：Kununu 的 Reviews API。该接口设计规范、响应稳定，且支持分页与参数化筛选，是规模化采集的首选路径。

✅ 正确做法：直连官方 Reviews API

首先从主页提取企业唯一标识 ID（非 URL 路径中的 adidas，而是评论链接中嵌入的数字 ID）：

from bs4 import BeautifulSoup
import requests

url = "https://www.kununu.com/de/adidas/kommentare"
soup = BeautifulSoup(requests.get(url).content, "html.parser")
# 提取任意一条评论链接中的 ID（例如 /review/123456789/...）
id_ = soup.select_one('a[href*="/review/"]')["href"].split("/")[3]

然后构造 API 请求（注意：API 地址格式为 https://www.kununu.com/middlewares/profiles/{country}/{company_slug}/{id}/reviews）：

api_url = "https://www.kununu.com/middlewares/profiles/de/adidas/{}/reviews"

params = {
    "fetchFactorScores": "0",  # 是否获取维度评分（如工作氛围、薪酬等），设为0可提速
    "reviewType": "employees", # 固定值，表示员工评论
    "urlParams": "",           # 保留空字符串即可
    "page": "1"                # 页码，从1开始
}

all_reviews = []
for page_num in range(1, 6):  # 抓取前5页（每页约10–15条）
    params["page"] = str(page_num)
    try:
        resp = requests.get(api_url.format(id_), params=params, timeout=10)
        resp.raise_for_status()
        data = resp.json()

        for review in data.get("reviews", []):
            # 提取核心字段
            rating = review.get("rating", {}).get("overall")  # 总体评分（1–5）
            author = review.get("author", {}).get("name", "Anonymous")
            date = review.get("date", "")

            # 多段文本（标题、正文、改进建议等）
            texts = [t["text"] for t in review.get("texts", []) if t.get("text")]
            full_text = "\n".join(texts)

            all_reviews.append({
                "rating": rating,
                "author": author,
                "date": date,
                "text": full_text
            })

    except (requests.RequestException, KeyError, ValueError) as e:
        print(f"第 {page_num} 页请求失败：{e}")
        break

⚠️ 注意事项与最佳实践

User-Agent 必须设置：Kununu API 会拒绝无 UA 的请求，建议添加 headers={"User-Agent": "Mozilla/5.0..."}；
请求频率控制：单次抓取建议间隔 ≥1 秒，避免触发风控；大规模采集请使用代理池与随机延迟；
ID 稳定性验证：企业 ID 可能随网站重构变化，建议每次运行前校验 soup.select_one('a[href*="/review/"]') 是否存在；
错误处理强化：API 返回可能为空或结构变更，需对 data.get("reviews") 和嵌套键做防御性访问；
评分字段说明：review["rating"]["overall"] 为整数（1–5），另有 "factors" 字典提供细分维度（如 workLifeBalance, salary），按需解析。