如何通过API接口高效实现Tenet Diagnostics网站的分页数据爬取-Python教程-PHP中文网

如何通过API接口高效实现Tenet Diagnostics网站的分页数据爬取

本文介绍绕过前端分页限制、直接调用tenet diagnostics后端ajax api批量获取全部检测项目数据的方法，避免selenium翻页失效问题，显著提升爬取稳定性与速度。

本文介绍绕过前端分页限制、直接调用tenet diagnostics后端ajax api批量获取全部检测项目数据的方法，避免selenium翻页失效问题，显著提升爬取稳定性与速度。

在Web爬虫实践中，依赖前端UI翻页（如点击“下一页”按钮）常因动态加载、DOM重渲染或JavaScript状态未同步而失败——正如原始Selenium代码中navigate_to_next_page()看似逻辑正确，却始终停留在第一页：根本原因在于该网站实际采用AJAX分页机制，页面URL不变，内容由前端通过POST请求向https://infinity.tenetdiagnostics.in/GetServices接口动态加载，而非传统HTML跳转。

因此，更可靠、高效且轻量的方案是直连后端分页API，跳过浏览器自动化环节。该接口接受from和to参数（表示结果集偏移范围），返回结构化JSON数据，无需解析HTML或处理WebDriver等待逻辑。

以下是推荐的完整实现方案：

import requests
import pandas as pd
import time

# API端点与基础载荷
api_url = "https://infinity.tenetdiagnostics.in/GetServices"
base_payload = {
    "test_name": "",
    "test_type": "",
    "condition_id": "",
    "speciality_id": "",
    "category_type": "p",  # 对应URL中的?type=p（病理类检测）
    "sort_by": "",
    "sort_order": "",
    "organ_id": "",
    "city_name": "Hyderabad",  # 城市参数影响结果，需根据目标城市调整
    "from": "1",
    "to": "9",
    "is_popular": ""
}

all_data = []
page_size = 9  # 每页返回9条记录（实测值）
total_pages = 10  # 建议先试探性设置；可动态获取总数量（见下方说明）

print("开始分页抓取...")
for page in range(total_pages):
    start_idx = page * page_size + 1
    end_idx = (page + 1) * page_size

    payload = base_payload.copy()
    payload["from"] = str(start_idx)
    payload["to"] = str(end_idx)

    try:
        response = requests.post(api_url, data=payload, timeout=10)
        response.raise_for_status()
        json_data = response.json()

        # 验证响应结构并提取数据
        if "data" in json_data and isinstance(json_data["data"], list):
            all_data.extend(json_data["data"])
            print(f"✓ 第 {page + 1} 页获取 {len(json_data['data'])} 条记录")
        else:
            print(f"⚠ 第 {page + 1} 页响应格式异常，跳过")
            break

    except requests.exceptions.RequestException as e:
        print(f"❌ 请求第 {page + 1} 页失败: {e}")
        break

    # 可选：添加轻量延时，降低服务器压力
    time.sleep(0.3)

# 转为DataFrame并保存
if all_data:
    df = pd.DataFrame(all_data)
    df.to_csv("tenet_test_data_api.csv", index=False, encoding="utf-8-sig")
    print(f"\n✅ 成功抓取 {len(all_data)} 条检测数据，已保存至 tenet_test_data_api.csv")
else:
    print("⚠ 未获取到任何数据，请检查网络、参数或API可用性")

# 【关键提示】获取总页数的进阶方法：
# 若需精确遍历全部页面，可先请求第1页（from=1,to=9），从响应中提取 total_count 字段（若API支持），再计算 total_pages = ceil(total_count / page_size)
# 当前示例使用固定页数，适用于已知数据量场景；生产环境建议加入自动探测逻辑。

注意事项与优化建议：

✅ 参数适配：city_name 是必需字段，不同城市返回结果不同；若需全国数据，需枚举主要城市分别请求。
✅ 错误处理：增加了HTTP异常捕获与JSON结构校验，防止因单页失败导致整个流程中断。
✅ 反爬友好：添加了time.sleep()，避免高频请求被限流；如需加速，可配合requests.Session()复用连接。
⚠ 数据完整性：该API返回字段丰富（如test_price、service_url、specimen等），远超原始Selenium方案，但需注意部分字段可能为空（如test_discpr折扣价）。
? 动态分页探测：若total_count存在于响应中（部分版本API返回），应优先采用动态分页而非硬编码total_pages，确保不遗漏数据。

相比Selenium方案，本方法执行更快（毫秒级响应）、资源占用更低（无浏览器实例）、稳定性更高（不受前端JS变更影响），是现代网页数据采集的推荐实践。