如何使用 requests-mock 模拟动态 URL 和序列响应

本教程详细介绍了如何使用 Python 的 requests-mock 库来模拟 requests.get().url 属性，特别是在处理动态 URL（如分页 API）和需要模拟序列响应的场景。文章将展示如何利用正则表达式匹配 URL，以及通过控制模拟响应的状态码来管理程序流程，确保测试的准确性和可控性。

在开发与外部 API 交互的 Python 应用时，进行单元测试或集成测试是至关重要的。然而，直接调用外部 API 不仅会增加测试运行时间，还可能受网络状况、API 限制或数据变动的影响。此时，模拟（Mocking）外部 HTTP 请求成为一种标准实践。requests-mock 是一个功能强大且易于使用的库，专门用于拦截和模拟 requests 库发出的 HTTP 请求，使得测试过程更加稳定、快速和独立。

为什么需要模拟 requests.get().url？

在某些场景下，我们不仅关心 HTTP 请求是否成功，还可能需要从响应对象中获取请求的最终 URL（例如，在重定向之后）。在处理像分页 API 这样的动态 URL 时，程序会循环发送请求，每次请求的 URL 都会根据页码而变化。例如，以下 Python 函数 consuming_api_swapi_index_page 会不断请求 Star Wars API 的不同页面，直到遇到非 HTTPStatus.OK 的响应：

import requests
from http import HTTPStatus

def consuming_api_swapi_index_page(initial_page: int = 1):
    """Swapi index page."""
    check = HTTPStatus.OK
    results = []
    current_page = initial_page # 使用一个独立变量进行迭代
    while check == HTTPStatus.OK:
        url = f'https://swapi.dev/api/people/?page={current_page}'
        response = requests.get(url)
        results.append(response.url) # 记录响应的URL
        print(f"Requested: {url}, Received URL: {response.url}, Status: {response.status_code}")
        check = response.status_code
        current_page += 1
    return results

# 对应的测试用例期望获取一系列特定的URL
def test_consuming_api_swapi_index_page_example() -> None:
    expected_urls = [
        'https://swapi.dev/api/people/?page=1',
        'https://swapi.dev/api/people/?page=2',
        # ... 省略中间部分 ...
        'https://swapi.dev/api/people/?page=10',
    ]
    # 实际运行时，这里需要模拟，否则会发起真实请求
    # assert consuming_api_swapi_index_page() == expected_urls

为了测试 consuming_api_swapi_index_page 函数的逻辑是否正确（特别是它是否按预期获取并记录了正确的 URL 序列，并在适当的时候停止），我们需要模拟 requests.get() 调用，使其返回预期的响应，并确保 response.url 属性的行为符合预期。

使用 requests-mock 进行模拟

requests-mock 库提供了一个上下文管理器 requests_mock.Mocker()，可以在其作用域内拦截 requests 库的所有 HTTP 请求。

首先，确保你已经安装了 requests-mock：

pip install requests-mock

1. 模拟单个 URL

最基本的模拟是针对一个固定的 URL：

import requests
import requests_mock
from http import HTTPStatus

def fetch_data(url):
    response = requests.get(url)
    if response.status_code == HTTPStatus.OK:
        return response.json()
    return None

def test_fetch_data():
    with requests_mock.Mocker() as m:
        m.get('http://example.com/api/data', json={'key': 'value'}, status_code=HTTPStatus.OK)
        data = fetch_data('http://example.com/api/data')
        assert data == {'key': 'value'}

2. 模拟动态 URL 与 response.url

对于像 https://swapi.dev/api/people/?page=1 这种带有查询参数的动态 URL，我们可以使用正则表达式来匹配一系列相似的 URL。requests-mock 会自动将 response.url 设置为实际被请求并匹配到的 URL，这正是我们所需要的。

核心思路：

1. 使用正则表达式匹配所有预期会成功（状态码为 HTTPStatus.OK）的 URL。
2. 模拟一个或多个“终止”请求，使其返回非 HTTPStatus.OK 的状态码（如 HTTPStatus.NOT_FOUND 或 HTTPStatus.BAD_REQUEST），以确保循环能够正确结束。

以下是针对 consuming_api_swapi_index_page 函数的测试示例：

import requests
import requests_mock
from http import HTTPStatus
import re

# 假设 consuming_api_swapi_index_page 函数已定义如上

def test_consuming_api_swapi_index_page_with_mock() -> None:
    """使用 requests-mock 测试分页API消费函数。"""
    expected_urls = [
        'https://swapi.dev/api/people/?page=1',
        'https://swapi.dev/api/people/?page=2',
        'https://swapi.dev/api/people/?page=3',
        'https://swapi.dev/api/people/?page=4',
        'https://swapi.dev/api/people/?page=5',
        'https://swapi.dev/api/people/?page=6',
        'https://swapi.dev/api/people/?page=7',
        'https://swapi.dev/api/people/?page=8',
        'https://swapi.dev/api/people/?page=9',
        'https://swapi.dev/api/people/?page=10',
    ]

    with requests_mock.Mocker() as m:
        # 1. 模拟成功获取的页面 (页码 1-10)
        # re.compile 用于创建正则表达式对象
        # r"https://swapi\.dev/api/people/\?page=(?:[1-9]|10)$" 精确匹配页码为1到10的URL
        # (?:[1-9]|10) 是一个非捕获组，匹配单个数字（1-9）或数字10
        # $ 确保匹配字符串的结束，防止匹配 page=100 等
        m.get(re.compile(r"https://swapi\.dev/api/people/\?page=(?:[1-9]|10)$"), status_code=HTTPStatus.OK)

        # 2. 模拟终止循环的页面 (例如，第11页)
        # 当函数请求第11页时，返回 404 Not Found，从而终止 while 循环
        m.get('https://swapi.dev/api/people/?page=11', status_code=HTTPStatus.NOT_FOUND)

        # 调用被测试的函数
        actual_urls = consuming_api_swapi_index_page()

        # 断言结果是否与预期相符
        assert actual_urls == expected_urls

在这个例子中，requests-mock 的 m.get() 方法被调用了两次：一次使用正则表达式来匹配所有成功的请求（页码 1-10），另一次则精确匹配第 11 页，并返回 HTTPStatus.NOT_FOUND。当 consuming_api_swapi_index_page 函数内部发起 requests.get() 调用时，requests-mock 会根据 URL 匹配规则返回相应的模拟响应。由于 requests-mock 自动将 response.url 设置为被请求的 URL，因此 results.append(response.url) 将准确地捕获到每次迭代中请求的 URL。

3. 处理更复杂的序列响应（自定义匹配器）

如果你的模拟需求更加复杂，例如响应内容不仅依赖于 URL，还依赖于请求的顺序、请求头或其他动态逻辑，你可以使用 requests-mock 的自定义匹配器。自定义匹配器是一个可调用对象，它接收 request 对象作为参数，并返回一个布尔值指示是否匹配。

import requests
import requests_mock
from http import HTTPStatus

# 假设需要模拟不同页码返回不同的JSON内容
def custom_matcher_for_pages(request):
    if request.url.startswith('https://api.example.com/data?page='):
        page_num_str = request.url.split('page=')[-1]
        try:
            page_num = int(page_num_str)
            if page_num == 1:
                request.status_code = HTTPStatus.OK
                request.json = {'items': ['item1', 'item2'], 'next_page': 2}
                return True
            elif page_num == 2:
                request.status_code = HTTPStatus.