如何绕过前置表单直接抓取受保护的政府农业系统页面-html教程-PHP中文网

如何绕过前置表单直接抓取受保护的政府农业系统页面

本文详解如何通过模拟 post 请求直接提交搜索参数，跳过前端表单页面，成功抓取巴西农业部 sigsif 系统中企业名录数据，解决因无状态跳转和 ssl 证书异常导致的 404 抓取失败问题。

本文详解如何通过模拟 post 请求直接提交搜索参数，跳过前端表单页面，成功抓取巴西农业部 sigsif 系统中企业名录数据，解决因无状态跳转和 ssl 证书异常导致的 404 抓取失败问题。

在实际 Web 抓取中，常遇到一类“伪静态”目标页面：其 URL 可公开访问，但内容仅在用户完成前置表单（如输入企业名称、点击查询）后才动态生成；若直接 GET 访问，服务器返回 404 或重定向至错误页。本例中的巴西农业部 SIGSIF 查询系统（/sigsif_cons/!ap_estabelec_nacional_lista）正是典型场景——它不依赖会话跳转逻辑，而是将全部查询参数通过 POST 直接提交至结果页 URL，因此无需模拟“先访问首页 → 解析表单 → 提交 → 跳转”的完整流程。

关键洞察在于：该系统的结果接口（!ap_estabelec_nacional_lista）本身即为表单的 action 目标地址，支持直接 POST 提交。我们只需逆向分析真实浏览器请求（可通过 DevTools → Network 标签捕获），提取必需字段并构造等效请求。

以下为精简可靠的实现方案：

import requests
from bs4 import BeautifulSoup

# 直接向结果页 URL 发起 POST 请求（跳过首页）
url = "https://extranet.agricultura.gov.br/sigsif_cons/!ap_estabelec_nacional_lista"

# 构造最小必要表单数据（字段名需与原始 HTML 表单一致）
data = {
    "nr_sif": "",               # SIF 编号（留空表示不限）
    "nm_razao_social": " ",     # 企业名称（传空格可匹配所有，避免空字符串被服务端忽略）
    "nr_cnpj": "",              # CNPJ（留空）
    "nm_sort": "nr_sif",        # 排序字段（默认按 SIF 编号升序）
    "script_body": "onload=",   # 部分隐藏字段，保留原始值防校验
    "p_tipo_consulta": ""       # 查询类型（留空）
}

# 禁用 SSL 验证（因站点使用自签名/过期证书）
response = requests.post(url, data=data, verify=False)

# 检查响应状态
if response.status_code != 200:
    raise ConnectionError(f"请求失败，HTTP 状态码: {response.status_code}")

soup = BeautifulSoup(response.content, "html.parser")

# 定位主数据表格（利用 CSS 选择器精准过滤嵌套结构）
table = soup.select_one("table.LabelCampo:not(:has(.LabelCampo))")
if not table:
    raise ValueError("未找到结果表格，请检查页面结构是否变更")

# 解析并打印每行数据（去除冗余空白，以空格分隔）
for row in table.find_all("tr")[1:]:  # 跳过表头
    text = row.get_text(strip=True, separator=" ")
    if text:  # 过滤空行
        print(text)

✅ 成功要点总结：

跳过首屏，直击终点：!ap_estabelec_nacional_lista 同时承担表单接收与结果渲染角色，无需 Session().get() 首页；
字段必须精确匹配：nm_razao_social 传 " "（单个空格）而非 ""，否则部分后端逻辑可能拒绝空查询；
禁用 SSL 验证需显式声明：verify=False 必须置于 requests.post() 调用中，全局 urllib3.disable_warnings() 仅抑制警告，不改变行为；
选择器健壮性优先：使用 table.LabelCampo:not(:has(.LabelCampo)) 避免误选嵌套子表，比单纯 find('table') 更可靠。

⚠️ 注意事项：