java抓取网页需强制转型为httpurlconnection，设置超时、utf-8编码、user-agent，禁用自动重定向并手动处理301/302跳转，读取前校验状态码，用bufferedreader高效读取html。
要用 Java 抓取外部网页的 HTML 文本，核心是用 URL 构建地址、用 HttpURLConnection 发起 HTTP 请求，并正确处理编码、超时、重定向和响应状态。直接用 URLConnection 会出问题——它只是抽象基类，不支持 setRequestMethod、getResponseCode 等关键方法，必须强制转成 HttpURLConnection 才能真正控制请求行为。
必须转型为 HttpURLConnection 才能发有效请求
URLConnection conn = url.openConnection() 返回的是通用连接对象，对 HTTP 协议“一无所知”。常见错误包括：
- 调
setRequestMethod("GET")没反应，或抛IllegalStateException - 遇到 302 重定向时自动跳转，但目标页可能是登录页或错误页
- 没检查状态码，把 404/500 响应当正常 HTML 读取，结果拿到空白或错误页源码
正确写法是立即强转：HttpURLConnection conn = (HttpURLConnection) url.openConnection();
之后才能设置方法、头、超时、手动处理重定向逻辑。
关键配置不能省：超时、编码、User-Agent
默认配置极不健壮，容易卡死或被拦截：
-
超时必须显式设：
conn.setConnectTimeout(5000)和conn.setReadTimeout(10000)。不设就是无限等待，尤其在移动网络或 DNS 不稳时极易 ANR 或线程挂起 -
编码必须指定 UTF-8：服务端返回的 Content-Type 可能没声明 charset，或声明错误。用
new InputStreamReader(conn.getInputStream(), "UTF-8")强制解码，避免中文乱码 -
User-Agent 必须设置：GitHub、知乎、多数现代站点会拦截无 UA 的请求，直接返回 403。加一句
conn.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36")就能绕过基础风控
手动处理重定向和状态码更可控
关闭自动重定向，自己判断是否跳转，能避免误入登录页或采集失效：
- 调
conn.setInstanceFollowRedirects(false) - 获取
conn.getResponseCode()后再决定：200 直接读；301/302 从conn.getHeaderField("Location")提取新 URL 并递归请求；4xx/5xx 按需记录或抛异常 - 注意：调
getInputStream()前务必先确认状态码，否则 403/500 会触发 IOException
读取 HTML 时建议用 BufferedReader + StringBuilder
避免逐字节读或直接转 String 导致性能差或内存溢出：
- 用
BufferedReader reader = new BufferedReader(new InputStreamReader(conn.getInputStream(), "UTF-8")) - 循环
reader.readLine()拼接，比IOUtils.toString()更轻量（不依赖第三方） - 记得
reader.close()，也别忘了conn.disconnect()释放连接资源
前端入门到VUE实战笔记：立即使用
在学习笔记中，你将探索 前端 的入门与实战技巧！
