如何使用 HtmlUnit 在 Java 中点击网页按钮并获取动态生成内容

心靈之曲

心靈之曲

2026-06-23

997人浏览

原创

如何使用 HtmlUnit 在 Java 中点击网页按钮并获取动态生成内容

本文详解如何用 htmlunit 正确触发 javascript 驱动的按钮点击(如随机词生成器),解决因 js 兼容性、异步加载和现代语法导致的常见失败问题,并提供可运行的完整示例。

本文详解如何用 htmlunit 正确触发 javascript 驱动的按钮点击(如随机词生成器),解决因 js 兼容性、异步加载和现代语法导致的常见失败问题,并提供可运行的完整示例。

HtmlUnit 是一个强大的无头浏览器库,常用于 Java 自动化测试与网页抓取。但面对现代网站(尤其是含复杂 JavaScript 的页面),直接调用 click() 往往失败——并非代码写错,而是 HtmlUnit 默认 JS 引擎(Rhino)不支持 ES6+ 语法、缺少 DOM 事件循环、或被第三方脚本阻塞。以目标站点 https://calculator888.ru/random-generator/sluchaynoye-slovo 为例,其“Случайное Слово”按钮()依赖多个自定义 JS 函数(如 pskGen, gSch, itogPkazDann),且函数参数使用八进制/十六进制字面量(如 0O57060516、0xbc614d),这些在旧版 Rhino 中会解析报错,导致点击后页面无响应。

✅ 正确做法:定制 WebConnection + 修复 JS 兼容性

核心思路是拦截并重写关键 JS 文件,将不兼容语法替换为 HtmlUnit 可执行的等效代码。以下是经过验证的完整解决方案(基于 HtmlUnit 3.9.0+):

import org.htmlunit.BrowserVersion;
import org.htmlunit.WebClient;
import org.htmlunit.WebRequest;
import org.htmlunit.WebResponse;
import org.htmlunit.WebResponseData;
import org.htmlunit.html.HtmlPage;
import org.htmlunit.util.WebConnectionWrapper;

import java.io.IOException;
import java.net.URL;
import java.nio.charset.StandardCharsets;
import java.util.Collections;

public class HtmlUnitButtonClickExample {
    public static void main(String[] args) throws IOException {
        String url = "https://calculator888.ru/random-generator/sluchaynoye-slovo";

        try (WebClient webClient = new WebClient(BrowserVersion.FIREFOX)) {
            // 关键配置:允许 JS 执行,忽略脚本错误(避免因 tracker 报错中断)
            webClient.getOptions().setJavaScriptEnabled(true);
            webClient.getOptions().setThrowExceptionOnScriptError(false);
            webClient.getOptions().setCssEnabled(false);
            webClient.getOptions().setUseInsecureSSL(true);

            // 拦截并修复 JS 资源(重点!)
            new WebConnectionWrapper(webClient) {
                @Override
                public WebResponse getResponse(WebRequest request) throws IOException {
                    URL reqUrl = request.getUrl();
                    String urlString = reqUrl.toExternalForm();

                    // 屏蔽干扰性统计脚本(如 Yandex.Metrica),避免网络阻塞
                    if (urlString.contains("yandex.ru/metrika/tag.js") || 
                        urlString.contains("yandex.ru/ads/system/context.js")) {
                        return new WebResponse(
                            new WebResponseData("".getBytes(StandardCharsets.UTF_8), 200, "OK", Collections.emptyList()),
                            request, 0L
                        );
                    }

                    // 定位并修复核心生成器 JS(含不兼容语法)
                    if (urlString.startsWith("https://calculator888.ru/js/generator-sluchaynyh/gener_sluch_chisl.js")) {
                        String originalJs = super.getResponse(request).getContentAsString();

                        // 替换带默认参数的 ES6 函数声明(Rhino 不支持)
                        originalJs = originalJs.replace("function pskGen(rrr=(0O57060516-0xbc614d)){",
                                "function pskGen(){var rrr = arguments.length > 0 ? arguments[0] : 12345678 - 0xbc614d;");
                        originalJs = originalJs.replace("function gSch(rrr=(0O57060516-0xbc614d)){",
                                "function gSch(){var rrr = arguments.length > 0 ? arguments[0] : 12345678 - 0xbc614d;");
                        // ... 其他类似替换(见原答案完整列表)

                        // 替换非法对象字面量返回值
                        originalJs = originalJs.replace("return {[cYdk]:rzd_hls,[wl6j]:rzd_okn};", "return {cYdk:rzd_hls,wl6j:rzd_okn};");

                        return new WebResponse(
                            new WebResponseData(originalJs.getBytes(StandardCharsets.UTF_8), 200, "OK", Collections.emptyList()),
                            request, 0L
                        );
                    }

                    return super.getResponse(request);
                }
            };

            // 加载页面
            HtmlPage page = webClient.getPage(url);
            webClient.waitForBackgroundJavaScript(3000); // 等待初始 JS 加载

            // 获取点击前的文本(用于对比)
            String before = page.getElementById("bov").asNormalizedText();
            System.out.println("点击前结果: " + before);

            // ✅ 正确点击按钮(注意:必须确保 JS 已启用且 JS 修复生效)
            page.getElementById("genr").click();
            webClient.waitForBackgroundJavaScriptStartingBefore(1000); // 等待 JS 开始执行
            webClient.waitForBackgroundJavaScript(2000);              // 等待 JS 执行完成

            // 获取点击后的结果
            String after = page.getElementById("bov").asNormalizedText();
            System.out.println("点击后结果: " + after);
        }
    }
}

⚠️ 关键注意事项

  • HtmlUnit 版本要求:务必使用 3.9.0 或更高版本(Maven 依赖):

    <dependency><groupid>org.htmlunit</groupid><artifactid>htmlunit</artifactid><version>3.9.0</version></dependency>

    旧版(如 2.13)JS 引擎过时,无法处理现代语法。

  • JS 必须启用:setJavaScriptEnabled(true) 是前提;禁用 JS 后 click() 仅触发 DOM 事件,不会执行实际逻辑。

    Java JDK 25
    Java JDK 25

    Java JDK 25 来自 OpenJDK 官方归档,版本为 JDK 25,本条下载地址已指向官方 Windows x64 zip 安装包直链,适合调试旧项目或兼容旧版 Java 运行环境。

    下载
  • 等待时机至关重要

    • waitForBackgroundJavaScriptStartingBefore():等待 JS 任务开始;
    • waitForBackgroundJavaScript():等待 JS 任务完成;
    • 二者需配合使用,避免过早读取未更新的 DOM。
  • XPath vs ID:优先使用 page.getElementById("genr")(简洁可靠),而非 getByXPath —— ID 唯一且性能更优。

  • 调试技巧

    • 添加 System.out.println(page.asXml()) 查看当前 DOM 结构;
    • 使用 webClient.setJavaScriptErrorListener(...) 捕获 JS 错误日志;
    • 若仍失败,尝试 BrowserVersion.CHROME 或 EDGE(部分网站对 UA 敏感)。

通过上述方案,你不仅能成功点击按钮,还能稳定获取动态生成的随机词内容(位于 #bov 元素中)。这不仅是“如何点按钮”的答案,更是面向真实场景的 HtmlUnit 工程化实践范例——直面兼容性挑战,用可控的拦截与修复替代盲目重试。

Java免费学习笔记:立即使用
解锁 Java 大师之旅:从入门到精通的终极指南

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

2023.06.15

3741

6

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

2753

9

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

2023.07.31

2777

8

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.01

635

3

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.02

600

3

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

705

5

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

1288

5

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

2023.08.03

18844

3

配置java环境变量
配置java环境变量

配置Java环境变量是为了让操作系统能够识别和使用Java的相关命令和功能。本专题为大家提供配置java环境变量相关文章,帮助大家解决问题。

2023.08.03

646

8

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Java JDBC数据库连接官方教程
Java JDBC数据库连接官方教程

共0课时 | 0人学习

Java 26官方文档
Java 26官方文档

共0课时 | 0人学习