Heim > Artikel > Web-Frontend > Detaillierte Erläuterung der Verwendung von HTMLParser (2)
Detaillierte Erläuterung der Verwendung von HTMLParser (2)
- 黄舟Original
- 2016-12-29 15:52:181106Durchsuche
HTMLParser speichert die analysierten Informationen als Baumstruktur. Der Knoten ist die Basis des Datentyps für die Informationsspeicherung.
Bitte sehen Sie sich die Definition von Node an:
public interface Node extends Cloneable;
Es gibt mehrere Arten von Methoden, die in Node enthalten sind:
Für Funktionen, die Baumstrukturen durchlaufen, sind diese Funktionen am einfachsten zu verstehen:
Node getParent ()：取得父节点 NodeList getChildren ()：取得子节点的列表 Node getFirstChild ()：取得第一个子节点 Node getLastChild ()：取得最后一个子节点 Node getPreviousSibling ()：取得前一个兄弟（不好意思，英文是兄弟姐妹，直译太麻烦而且不符合习惯，对不起女同胞了） Node getNextSibling ()：取得下一个兄弟节点
Funktion zum Abrufen von Knoteninhalten:
String getText ()：取得文本 String toPlainTextString()：取得纯文本信息。 String toHtml () ：取得HTML信息（原始HTML） String toHtml (boolean verbatim)：取得HTML信息（原始HTML） String toString ()：取得字符串信息（原始HTML） Page getPage ()：取得这个Node对应的Page对象 int getStartPosition ()：取得这个Node在HTML页面中的起始位置 int getEndPosition ()：取得这个Node在HTML页面中的结束位置
Funktion für Filter:
void collectInto (NodeList list, NodeFilter filter)：基于filter的条件对于这个节点进行过滤，符合条件的节点放到list中。
Funktionen Wird für die Besucherdurchquerung verwendet:
void accept (NodeVisitor visitor)：对这个Node应用visitor
Funktion zum Ändern von Inhalten. Dieser Typ wird selten verwendet:
void setPage (Page page)：设置这个Node对应的Page对象 void setText (String text)：设置文本 void setChildren (NodeList children)：设置子节点列表
Andere Funktionen:
void doSemanticAction ()：执行这个Node对应的操作（只有少数Tag有对应的操作） Object clone ()：接口Clone的抽象函数。
Tatsächlich verwenden wir HTMLParser am häufigsten, um HTML-Seiten zu verarbeiten. Es sind Filter- oder Besucherfunktionen erforderlich, und die ersten und zweiten Funktionstypen werden am häufigsten verwendet. Der erste Funktionstyp ist einfacher zu verstehen. Lassen Sie uns den zweiten Funktionstyp anhand eines Beispiels veranschaulichen.
Die folgende HTML-Datei wird zum Testen verwendet:
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <head><meta http-equiv="Content-Type" content="text/html; charset=gb2312"><title>白泽居-www.baizeju.com</title></head> <html xmlns="http://www.w3.org/1999/xhtml"> <body > <div id="top_main"> <div id="logoindex"> <!--这是注释--> 白泽居-www.baizeju.com <a href="http://www.baizeju.com">白泽居-www.baizeju.com</a> </div> 白泽居-www.baizeju.com </div> </body> </html>
Testcode:
/**
* @author www.baizeju.com
*/
package com.baizeju.htmlparsertester;
import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.io.FileInputStream;
import java.io.File;
import java.net.HttpURLConnection;
import java.net.URL;
import org.htmlparser.Node;
import org.htmlparser.util.NodeIterator;
import org.htmlparser.Parser;
/**
* @author www.baizeju.com
*/
public class Main {
private static String ENCODE = "GBK";
private static void message( String szMsg ) {
try{ System.out.println(new String(szMsg.getBytes(ENCODE), System.getProperty("file.encoding"))); } catch(Exception e ){}
}
public static String openFile( String szFileName ) {
try {
BufferedReader bis = new BufferedReader(new InputStreamReader(new FileInputStream( new File(szFileName)), ENCODE) );
String szContent="";
String szTemp;
while ( (szTemp = bis.readLine()) != null) {
szContent+=szTemp+"/n";
}
bis.close();
return szContent;
}
catch( Exception e ) {
return "";
}
}
public static void main(String[] args) {
try{
Parser parser = new Parser( (HttpURLConnection) (new URL("http://127.0.0.1:8080/HTMLParserTester.html")).openConnection() );
for (NodeIterator i = parser.elements (); i.hasMoreNodes(); ) {
Node node = i.nextNode();
message("getText:"+node.getText());
message("getPlainText:"+node.toPlainTextString());
message("toHtml:"+node.toHtml());
message("toHtml(true):"+node.toHtml(true));
message("toHtml(false):"+node.toHtml(false));
message("toString:"+node.toString());
message("=================================================");
}
}
catch( Exception e ) {
System.out.println( "Exception:"+e );
}
}
}Ausgabeergebnis:
getText:!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd" getPlainText: toHtml:<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> toHtml(true):<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> toHtml(false):<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> toString:Doctype Tag : !DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd; begins at : 0; ends at : 121 ================================================= getText: getPlainText: toHtml: toHtml(true): toHtml(false): toString:Txt (121[0,121],123[1,0]): /n ================================================= getText:head getPlainText:白泽居-www.baizeju.com toHtml:<head><meta http-equiv="Content-Type" content="text/html; charset=gb2312"><title>白泽居-www.baizeju.com</title></head> toHtml(true):<head><meta http-equiv="Content-Type" content="text/html; charset=gb2312"><title>白泽居-www.baizeju.com</title></head> toHtml(false):<head><meta http-equiv="Content-Type" content="text/html; charset=gb2312"><title>白泽居-www.baizeju.com</title></head> toString:HEAD: Tag (123[1,0],129[1,6]): head Tag (129[1,6],197[1,74]): meta http-equiv="Content-Type" content="text/html; ... Tag (197[1,74],204[1,81]): title Txt (204[1,81],223[1,100]): 白泽居-www.baizeju.com End (223[1,100],231[1,108]): /title End (231[1,108],238[1,115]): /head ================================================= getText: getPlainText: toHtml: toHtml(true): toHtml(false): toString:Txt (238[1,115],240[2,0]): /n ================================================= getText:html xmlns="http://www.w3.org/1999/xhtml" getPlainText: 白泽居-www.baizeju.com 白泽居-www.baizeju.com 白泽居-www.baizeju.com toHtml:<html xmlns="http://www.w3.org/1999/xhtml"> <body > <div id="top_main"> <div id="logoindex"> <!--这是注释--> 白泽居-www.baizeju.com <a href="http://www.baizeju.com">白泽居-www.baizeju.com</a> </div> 白泽居-www.baizeju.com </div> </body> </html> toHtml(true):<html xmlns="http://www.w3.org/1999/xhtml"> <body > <div id="top_main"> <div id="logoindex"> <!--这是注释--> 白泽居-www.baizeju.com <a href="http://www.baizeju.com">白泽居-www.baizeju.com</a> </div> 白泽居-www.baizeju.com </div> </body> </html> toHtml(false):<html xmlns="http://www.w3.org/1999/xhtml"> <body > <div id="top_main"> <div id="logoindex"> <!--这是注释--> 白泽居-www.baizeju.com <a href="http://www.baizeju.com">白泽居-www.baizeju.com</a> </div> 白泽居-www.baizeju.com </div> </body> </html> toString:Tag (240[2,0],283[2,43]): html xmlns="http://www.w3.org/1999/xhtml" Txt (283[2,43],285[3,0]): /n Tag (285[3,0],292[3,7]): body Txt (292[3,7],294[4,0]): /n Tag (294[4,0],313[4,19]): div id="top_main" Txt (313[4,19],316[5,1]): /n/t Tag (316[5,1],336[5,21]): div id="logoindex" Txt (336[5,21],340[6,2]): /n/t/t Rem (340[6,2],351[6,13]): 这是注释 Txt (351[6,13],376[8,0]): /n/t/t白泽居-www.baizeju.com/n Tag (376[8,0],409[8,33]): a href="http://www.baizeju.com" Txt (409[8,33],428[8,52]): 白泽居-www.baizeju.com End (428[8,52],432[8,56]): /a Txt (432[8,56],435[9,1]): /n/t End (435[9,1],441[9,7]): /div Txt (441[9,7],465[11,0]): /n/t白泽居-www.baizeju.com/n End (465[11,0],471[11,6]): /div Txt (471[11,6],473[12,0]): /n End (473[12,0],480[12,7]): /body Txt (480[12,7],482[13,0]): /n End (482[13,0],489[13,7]): /html
=========================================== === ===
Für den Inhalt des ersten Knotens lautet die entsprechende Zeile 1311c5d17f3826de5d1e8a634352db2f ist dies einfacher zu verstehen.
Anhand dieses Ausgabeergebnisses können Sie auch die Baumstruktur des Inhalts erkennen. Oder vielmehr die Struktur des Waldes. Die Tags der ersten Ebene im Seiteninhalt, wie DOCTYPE, Head und HTML, bilden einen Knotenknoten der obersten Ebene (viele Leute sind möglicherweise etwas seltsam über den Inhalt des zweiten und vierten Knotens. Tatsächlich sind es diese beiden Knoten Zwei Zeilenumbruchsymbole. HTMLParser wandelt alle Zeilenumbrüche, Leerzeichen, Tabulatoren usw. im HTML-Seiteninhalt in entsprechende Tags um, sodass es einen Knoten wie diesen gibt, obwohl er weniger Inhalt hat, haha)
getPlainTextString ist alles, was der Benutzer sehen kann. Es gibt zwei interessante Punkte: Der Titelinhalt im 93f0f5c25f18dab9d176bd4f6de5d30e-Tag ist im Klartext, sodass er möglicherweise auch dann sichtbar ist, wenn er im Titel sichtbar ist. Darüber hinaus sind, wie bereits erwähnt, auch Zeilenumbrüche und andere Zeichen im HTML-Inhalt zu Klartext geworden, was ein gewisses logisches Problem zu sein scheint.
Außerdem stellen Sie möglicherweise fest, dass es keinen Unterschied zwischen den Ergebnissen von toHtml, toHtml(true) und toHtml(false) gibt. Dies ist tatsächlich der Fall. Wenn Sie den Code von HTMLParser verfolgen, können Sie feststellen, dass die Unterklasse von Node AbstractNode ist, die den Code von toHtml() implementiert und toHtml(false) direkt aufruft. TagNode und TextNode. Bei der Implementierung von toHtml (boolean verbatim) wird der Verbatim-Parameter nicht verarbeitet, sodass die Ergebnisse der drei Funktionen genau gleich sind. Wenn Sie keine eigene spezielle Verarbeitung implementieren müssen, verwenden Sie einfach toHtml.
Das Obige ist die detaillierte Erklärung der Verwendung von HTMLParser (2). Weitere verwandte Inhalte finden Sie auf der chinesischen PHP-Website (www.php.cn).