Java 예제 - 웹 스크래핑
- 黄舟원래의
- 2017-01-20 11:58:431378검색
다음 예에서는 net.URL 클래스의 URL() 생성자를 사용하여 웹페이지를 크롤링하는 방법을 보여줍니다.
/*
author by w3cschool.cc
Main.java
*/import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.FileWriter;import java.io.InputStreamReader;import java.net.URL;public class Main {
public static void main(String[] args)
throws Exception {
URL url = new URL("http://www.w3cschool.cc");
BufferedReader reader = new BufferedReader
(new InputStreamReader(url.openStream()));
BufferedWriter writer = new BufferedWriter
(new FileWriter("data.html"));
String line;
while ((line = reader.readLine()) != null) {
System.out.println(line);
writer.write(line);
writer.newLine();
}
reader.close();
writer.close();
}}위 코드를 실행한 결과는 다음과 같습니다(소스 코드 현재 디렉토리 data.html 파일 아래에 저장되어 있음):
<!DOCTYPE html> <html> <head> <meta charset="UTF-8"/> <meta http-equiv="X-UA-Compatible" content="IE=11,IE=10,IE=9,IE=8"/>……
위는 Java 예입니다. 웹 페이지 크롤링 내용에 대한 자세한 내용은 PHP 중국어에 주의하세요. 홈페이지(www.php.cn)!
성명：
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.