如何抓取由 JavaScript 动态生成随机股票代码的网页内容

本文详解如何绕过前端 javascript 渲染陷阱，直接调用网站后台 json 接口获取真实数据，以高效、稳定地提取动态生成的随机股票代码（如 fve），避免因仅解析静态 html 导致返回“loading...”的常见错误。

本文详解如何绕过前端 javascript 渲染陷阱，直接调用网站后台 json 接口获取真实数据，以高效、稳定地提取动态生成的随机股票代码（如 fve），避免因仅解析静态 html 导致返回“loading...”的常见错误。

在 Web 抓取实践中，一个典型误区是：仅依赖 requests + BeautifulSoup 获取初始 HTML，便认为已捕获全部可见内容。然而，当目标网站（如 https://www.php.cn/link/e84d3444422cda735543114cf5df6b95）采用“客户端渲染”策略——即页面加载后通过 JavaScript 异步请求数据并动态插入 DOM——原始 HTML 中对应元素（如

Loading...

）仅是占位符，真实内容尚未存在。

此时，强行解析静态 HTML 必然失败。正确路径是逆向分析前端行为：打开浏览器开发者工具（F12），切换至 Network → XHR/Fetch 标签页，刷新页面，观察 JS 发起的实际数据请求。针对该站点，可清晰发现其向 https://www.php.cn/link/e84d3444422cda735543114cf5df6b95stocks.json 发起 GET 请求，返回一个包含数百只股票代码的纯 JSON 数组：

["AAPL", "MSFT", "GOOGL", "TSLA", "FVE", "JNJ", "..."]

这意味着：网站的“随机性”实际发生在浏览器端（random.choice(data)），而数据源本身是公开、无认证、可直连的静态接口。

因此，最优解是跳过浏览器模拟，直接请求该 JSON 接口，并在 Python 中复现随机逻辑：

import random
import requests

def get_random_ticker():
    json_url = "https://www.php.cn/link/e84d3444422cda735543114cf5df6b95stocks.json"
    try:
        response = requests.get(json_url, timeout=10)
        response.raise_for_status()  # 检查 HTTP 错误状态码
        stock_list = response.json()
        if not isinstance(stock_list, list) or not stock_list:
            raise ValueError("JSON response is not a non-empty list")
        return random.choice(stock_list)
    except requests.exceptions.RequestException as e:
        print(f"网络请求失败: {e}")
        return None
    except ValueError as e:
        print(f"数据解析异常: {e}")
        return None

# 使用示例
ticker = get_random_ticker()
if ticker:
    print(f"获取到随机股票代码: {ticker}")  # 输出示例：FVE

✅ 优势显著：