Python 爬虫需要解析 Js 代码来获取动态加载的数据。解析方法包括：Webdriver：直接执行 Js 代码。Beautiful Soup：通过 lxml 扩展包解析 Js 代码。Selenium：执行 Js 代码并获取页面信息。

Python 爬虫全套教程：Js 解析

Js 解析概述

Js 是一种脚本语言，用于增强网页的交互性。爬虫需要解析 Js 代码才能获取动态加载的数据。

Js 解析方法

Python 中有多种解析 Js 代码的方法：

• Webdriver： WebDriver 提供了内置的 Js 执行功能，可以直接在 Python 中执行 Js 代码。
• Beautiful Soup： Beautiful Soup 是一个 HTML/XML 解析库，可以通过 lxml 扩展包解析 Js 代码。
• Selenium： Selenium 是一个 Web 自动化框架，提供了 Python 绑定，可以用来执行 Js 代码和获取页面信息。

使用方法

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

Webdriver

from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://example.com")
result = driver.execute_script("return document.title")

Beautiful Soup

from bs4 import BeautifulSoup

soup = BeautifulSoup(driver.page_source, "lxml")
title = soup.select_one("script[type='text/javascript']").text

Selenium

from selenium.webdriver import Chrome

options = ChromeOptions()
options.add_argument("--headless")
driver = Chrome(options=options)
driver.get("https://example.com")
result = driver.execute_script("return document.title")

注意

• Webdriver 需要下载相应的浏览器驱动程序。
• Beautiful Soup 需要 lxml 扩展包支持。
• Selenium 可以无头运行，提高爬虫效率。

高级用法

• Js 注入： 将 Python 代码注入到页面中，可以在页面执行自定义脚本。
• 重写 Js 函数： 修改或替换页面上的 Js 函数，以改变页面行为。
• Js 调试： 使用浏览器开发工具或 PyCharm 调试器调试 Js 代码。

Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！