本文详解如何使用 python 的 requests 和 beautifulsoup 库，从 maroof.sa 商家列表页（https://www.php.cn/link/d8e8e388bfea168f47d3d795ae571c15）中批量提取每个商家详情页的完整 url，并提供可运行代码、关键选择器分析及反爬注意事项。
本文详解如何使用 python 的 requests 和 beautifulsoup 库，从 maroof.sa 商家列表页（https://www.php.cn/link/d8e8e388bfea168f47d3d795ae571c15）中批量提取每个商家详情页的完整 url，并提供可运行代码、关键选择器分析及反爬注意事项。
在实际网页数据采集任务中，“获取页面中所有目标链接”是基础但关键的一环。以沙特本地商业认证平台 Maroof.sa 为例，其商家列表页采用分页加载，每条商家记录以 标签包裹，href 属性指向形如 /businesses/details/{id} 的相对路径。要完整提取全部商家 URL，需注意以下三点：正确解析相对 URL、处理分页逻辑、规避基础反爬机制。
以下是完整的实现方案：
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin
def extract_store_urls(base_url: str, max_pages: int = 5) -> list:
"""
从 Maroof.sa 商家列表页批量提取所有商家详情页 URL
:param base_url: 列表页基础 URL（如 'https://www.php.cn/link/d8e8e388bfea168f47d3d795ae571c15'）
:param max_pages: 最大抓取页数（避免无限请求）
:return: 去重后的完整商家 URL 列表
"""
all_urls = set()
for page in range(1, max_pages + 1):
# Maroof.sa 分页格式为 ?page=N
url = f"{base_url}?page={page}"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
try:
response = requests.get(url, headers=headers, timeout=10)
response.raise_for_status()
soup = BeautifulSoup(response.text, 'html.parser')
# 关键选择器：定位商家卡片中的 <a> 标签（根据实际 HTML 结构调整）
# 经实测，商家链接通常位于 class="business-card__link" 或类似语义容器内
links = soup.select('a[href^="/businesses/details/"]')
for link in links:
href = link.get('href')
if href:
full_url = urljoin(base_url, href) # 自动处理相对路径
all_urls.add(full_url)
print(f"✅ 第 {page} 页提取到 {len(links)} 个商家链接")
except requests.RequestException as e:
print(f"⚠️ 请求第 {page} 页失败：{e}")
break
return list(all_urls)
# 使用示例
if __name__ == "__main__":
base = "https://www.php.cn/link/d8e8e388bfea168f47d3d795ae571c15"
urls = extract_store_urls(base, max_pages=3) # 建议先试 2–3 页验证结构
print(f"\n? 共获取 {len(urls)} 个唯一商家 URL：")
for i, u in enumerate(urls[:10], 1): # 仅打印前 10 条预览
print(f"{i}. {u}")
if len(urls) > 10:
print("...（更多结果已保存）")</a>
? 关键说明与注意事项：
- 选择器需动态验证：Maroof.sa 页面结构可能更新，首次运行前请用浏览器开发者工具（F12 → Elements）确认商家链接的 CSS 选择器（如 a.business-card__title 或 div.card a），替换代码中 soup.select(...) 部分。
- 反爬友好实践：添加 User-Agent 头、设置 timeout、控制请求频率（如加 time.sleep(1)），避免被服务端限流。
- 分页健壮性：若某页无商家链接（如最后一页为空），links 为空列表，循环会自然跳过，无需额外异常处理。
- URL 合并安全：使用 urllib.parse.urljoin() 可确保相对路径（如 /businesses/details/229217）正确转为绝对 URL（https://www.php.cn/link/d8e8e388bfea168f47d3d795ae571c15details/229217）。
✅ 总结：该方法不依赖 Selenium，轻量高效，适用于静态渲染的列表页。如遇 JavaScript 动态加载（如滚动加载），则需切换至 Playwright 或 Selenium 方案——但对 Maroof.sa 当前版本（截至 2024），上述 requests + BeautifulSoup 方案已完全可用。
