JSoup 在 Android 中处理超时缓慢网站的正确配置方法

星敏姑娘_9171

星敏姑娘_9171

2026-03-25

663人浏览

原创

本文详解如何在 android studio 中使用 jsoup 爬取响应极慢(如 25 秒以上)的目标网站,重点解决因默认或显式 timeout 设置不当导致连接中断、文档为空的问题,并给出安全、可靠、符合 android 最佳实践的配置方案。

本文详解如何在 android studio 中使用 jsoup 爬取响应极慢(如 25 秒以上)的目标网站,重点解决因默认或显式 timeout 设置不当导致连接中断、文档为空的问题,并给出安全、可靠、符合 android 最佳实践的配置方案。

在 Android 开发中,使用 JSoup 进行网页抓取(Web Scraping)是一种轻量级且常用的技术。但当目标网站响应异常缓慢(例如你提到的 https://www.php.cn/link/06277c373fd4be8ecb96de3776dd0963 需要约 25 秒才返回完整 HTML),常规的 timeout(60000)(即 60 秒)仍可能失败——这并非因为超时值不够大,而是 JSoup 的 timeout() 方法实际控制的是 socket 连接建立 + 响应头接收阶段的总耗时,不包含完整响应体下载与解析时间。更关键的是:Android 平台对网络操作有严格限制(如主线程禁止联网),而 JSoup 的 .get() 是同步阻塞调用,若未配合异步机制,极易触发 NetworkOnMainThreadException 或 ANR。

✅ 正确做法不是盲目增大 timeout,而是将 timeout 设为 0(无限等待)并确保运行在后台线程:

// ✅ 推荐:在 WorkManager / AsyncTask(已弃用,仅作示意)/ Kotlin 协程 / 或自定义线程中执行
new Thread(() -> {
    try {
        // timeout(0) 表示禁用超时限制,等待服务器完成整个响应传输
        Document doc = Jsoup.connect("https://www.php.cn/link/06277c373fd4be8ecb96de3776dd0963/translation.php?source=enn%20bon%20garson&lang=kreol&boutton=Translate")
                .timeout(0)                    // 关键:启用无限等待(仅适用于可控可信源)
                .userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36") // 模拟浏览器 UA
                .followRedirects(true)
                .get();

        // 提取 body 文本(根据实际 DOM 结构调整选择器)
        String translation = doc.body().text();
        Log.d("JsoupResult", "Parsed: " + translation);

        // ⚠️ 切记:更新 UI 必须切回主线程
        runOnUiThread(() -> {
            textView.setText(translation);
        });

    } catch (IOException e) {
        Log.e("JsoupError", "Failed to fetch page", e);
        runOnUiThread(() -> textView.setText("Error: " + e.getMessage()));
    }
}).start();

⚠️ 重要注意事项:

  • timeout(0) 仅应在明确知晓目标服务稳定性且具备容错机制的前提下使用;生产环境建议搭配 Future + ExecutorService 设置逻辑超时(如 45 秒后主动 cancel),避免线程永久挂起;
  • Android 9+(API 28+)默认禁止明文 HTTP 请求,确保目标网站使用 HTTPS(本例符合);
  • 必须在 AndroidManifest.xml 中声明网络权限:
    <uses-permission android:name="android.permission.INTERNET"></uses-permission>
  • 若页面内容由 JavaScript 动态渲染(本例为服务端直出 HTML,无需处理),JSoup 无法执行 JS;此时需考虑 WebView + JavaScriptInterface 或专用无头浏览器(如 Selenium/Playwright),但 Android 端不推荐;
  • 遵循网站 robots.txt 及服务条款,高频请求可能被封禁 IP,建议添加合理延时(.maxBodySize() 也可限制响应体积防 OOM)。

? 总结:面对高延迟网站,核心是分离「网络等待策略」与「线程调度策略」——用 timeout(0) 解除 JSoup 底层 socket 超时约束,再通过 Android 标准异步机制(如 CoroutineScope(Dispatchers.IO) 或 Executors.newSingleThreadExecutor())保障主线程安全与用户体验。永远不要在主线程直接调用 .get(),也避免在不可信网络环境中无限制等待。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
pdf怎么转换成xml格式
pdf怎么转换成xml格式

将 pdf 转换为 xml 的方法:1. 使用在线转换器;2. 使用桌面软件(如 adobe acrobat、itext);3. 使用命令行工具(如 pdftoxml)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.01

4364

5

xml怎么变成word
xml怎么变成word

步骤:1. 导入 xml 文件;2. 选择 xml 结构;3. 映射 xml 元素到 word 元素;4. 生成 word 文档。提示:确保 xml 文件结构良好,并预览 word 文档以验证转换是否成功。想了解更多xml的相关内容,可以阅读本专题下面的文章。

2024.08.01

5657

7

xml是什么格式的文件
xml是什么格式的文件

xml是一种纯文本格式的文件。xml指的是可扩展标记语言,标准通用标记语言的子集,是一种用于标记电子文件使其具有结构性的标记语言。想了解更多相关的内容,可阅读本专题下面的相关文章。

2024.11.28

2402

7

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

2023.08.10

3978

6

js正则表达式
js正则表达式

php中文网为大家提供各种js正则表达式语法大全以及各种js正则表达式使用的方法,还有更多js正则表达式的相关文章、相关下载、相关课程,供大家免费下载体验。

2023.06.20

4156

8

js获取当前时间
js获取当前时间

JS全称JavaScript,是一种具有函数优先的轻量级,解释型或即时编译型的编程语言;它是一种属于网络的高级脚本语言,主要用于Web,常用来为网页添加各式各样的动态功能。js怎么获取当前时间呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.28

1295

5

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.03

1678

5

js是什么意思
js是什么意思

JS是JavaScript的缩写,它是一种广泛应用于网页开发的脚本语言。JavaScript是一种解释性的、基于对象和事件驱动的编程语言,通常用于为网页增加交互性和动态性。它可以在网页上实现复杂的功能和效果,如表单验证、页面元素操作、动画效果、数据交互等。

2023.08.17

9703

11

js删除节点的方法
js删除节点的方法

js删除节点的方法有:1、removeChild()方法,用于从父节点中移除指定的子节点,它需要两个参数,第一个参数是要删除的子节点,第二个参数是父节点;2、parentNode.removeChild()方法,可以直接通过父节点调用来删除子节点;3、remove()方法,可以直接删除节点,而无需指定父节点;4、innerHTML属性,用于删除节点的内容。

2023.09.01

940

4

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.6万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.4万人学习