如何通过 URLConnection 建立 HTTP 连接并读取网页源代码

胖宇小哥_2232

胖宇小哥_2232

2026-04-16

977人浏览

原创

urlconnection是抽象基类,仅定义基础连接行为;http特有功能(如setrequestmethod、getresponsecode、请求头设置、状态码判断、超时控制、gzip解压等)均由httpurlconnection子类实现,不转型则无法可靠发起http请求或正确处理响应。

如何通过 urlconnection 建立 http 连接并读取网页源代码

URLConnection 本身不直接支持 HTTP 方法设置或状态码检查,必须强制转成 HttpURLConnection 才能可靠发起请求、读取 HTML 源码。直接用 URLConnection 调 getInputStream() 很可能抛出 IOException 或返回空内容,尤其遇到重定向、403、gzip 压缩等情况时。

为什么必须转型为 HttpURLConnection

URLConnection 是抽象基类,只定义了基础连接行为;而真实 HTTP 交互(如 setRequestMethod、getResponseCode、setRequestProperty)全在 HttpURLConnection 子类里实现。不转型就等于拿遥控器当砖头使——按不动开关,还怪电视没反应。

  • 不转型时调用 setRequestMethod("GET") 会报 IllegalStateException 或静默失效
  • 无法判断响应是否成功(HTTP_OK),容易把 404/500 当作正常内容读取
  • 部分网站(如 GitHub、知乎)会根据 User-Agent 和 Accept 头拒绝非浏览器请求,这些头只能通过 HttpURLConnection 设置

setConnectTimeout 和 setReadTimeout 必须显式设

默认超时是无限等待,网络卡顿、DNS 慢、服务器假死都会让线程 hang 死。这两个参数不是可选项,是保命配置。

  • setConnectTimeout(8000):建立 TCP 连接的最长时间,单位毫秒。低于 3000 容易误判正常网络抖动
  • setReadTimeout(8000):从 socket 读取数据的单次阻塞上限。注意:它不控制整个响应读取耗时,只管每次 read() 调用
  • Android 上建议不超过 10 秒,否则可能触发 ANR;服务端批量采集可放宽到 15–30 秒,但需配合重试逻辑

字符编码必须显式指定,不能依赖系统默认

网页的 Content-Type 响应头常带 charset=utf-8,但 InputStreamReader 不会自动解析它。用 new InputStreamReader(conn.getInputStream()) 相当于用平台默认编码(Windows 是 GBK,Linux/macOS 是 UTF-8),一读中文就乱码。

  • 优先从响应头提取编码:connection.getContentEncoding() 可得 gzip,但编码得看 connection.getContentType() 解析 charset= 后缀
  • 更稳妥做法:固定用 StandardCharsets.UTF_8(Java 7+),多数现代网站已默认 UTF-8;若遇 GB2312/GBK 站点(如某些政府旧站),再 fallback 到 "GBK"
  • 示例写法:new InputStreamReader(connection.getInputStream(), StandardCharsets.UTF_8)

别忘了 disconnect() 和 try-with-resources

HttpURLConnection 不会自动释放底层 socket,不手动断开或不进 try 块,会导致连接泄漏,尤其在高频请求或 Android Activity 重建场景下极易引发 SocketException: Too many open files。

  • 必须在 finally 块或 try-with-resources 中调用 connection.disconnect()
  • 输入流也要关:用 try (BufferedReader r = new BufferedReader(...)) { ... } 自动 close
  • 注意:调用 disconnect() 后不能再读取流,顺序不能颠倒

最容易被忽略的是响应体压缩(gzip/deflate)——很多网站默认开启,但 HttpURLConnection 不自动解压,你读到的是一堆二进制乱码字节。要处理它,得先检查 connection.getContentEncoding() 是否为 "gzip",再套一层 GZIPInputStream。这点连不少老项目都漏掉,结果爬回来的 HTML 里全是 符号。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

2023.06.15

10377

6

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

7502

9

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

2023.07.31

6572

8

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.01

1124

3

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.02

928

3

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

1356

5

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

2729

5

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

2023.08.03

20051

3

配置java环境变量
配置java环境变量

配置Java环境变量是为了让操作系统能够识别和使用Java的相关命令和功能。本专题为大家提供配置java环境变量相关文章,帮助大家解决问题。

2023.08.03

1215

8

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.7万人学习