Java-Beispiel – Web Scraping
- 黄舟Original
- 2017-01-20 11:58:431360Durchsuche
Das folgende Beispiel zeigt, wie der URL()-Konstruktor der net.URL-Klasse zum Crawlen einer Webseite verwendet wird:
/*
author by w3cschool.cc
Main.java
*/import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.FileWriter;import java.io.InputStreamReader;import java.net.URL;public class Main {
public static void main(String[] args)
throws Exception {
URL url = new URL("http://www.w3cschool.cc");
BufferedReader reader = new BufferedReader
(new InputStreamReader(url.openStream()));
BufferedWriter writer = new BufferedWriter
(new FileWriter("data.html"));
String line;
while ((line = reader.readLine()) != null) {
System.out.println(line);
writer.write(line);
writer.newLine();
}
reader.close();
writer.close();
}}Das Ausgabeergebnis der Ausführung des obigen Codes ist (die Quellcode der Webseite, gespeichert in der Datei data.html im aktuellen Verzeichnis):
<!DOCTYPE html> <html> <head> <meta charset="UTF-8"/> <meta http-equiv="X-UA-Compatible" content="IE=11,IE=10,IE=9,IE=8"/>……
Das Obige ist das Java-Beispiel – Webseiten-Crawling-Inhalte. Weitere verwandte Inhalte finden Sie unter PHP chinesische Website (www.php.cn)!
Stellungnahme：
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn