Verwenden Sie java.nio.charset.CharsetDecoder, um Zeichensatzmethoden automatisch zu identifizieren

In diesem Artikelwird vorgestelltdie Verwendung von java.nio.charset.CharsetDecoder zur automatischen Identifizierung der Zeichensatz-Methode

erforscht die Methoden, die kann im Internet verwendet werden. Der effektivste Weg, Zeichensätze automatisch zu identifizieren, ist die Verwendung der -Klassenbibliothek jchardet eines Drittanbieters. Es gibt auch cpdetector, der tatsächlich jchardet verwendet. Ich habe zufällig entdeckt, dass der java.nio.charset.CharsetDecoder von jdk zur Identifizierung von Zeichensätzen verwendet werden kann.

1. Prinzip

Im Allgemeinen werden zwei Methoden verwendet, um InputStreamReader zu erstellen:

InputStreamReader reader = new InputStreamReader(in, charsetName);

oder

InputStreamReader reader = new InputStreamReader(in, charset);

Wenn der Zeichensatz nicht übereinstimmt, werden verstümmelte Zeichen ausgegeben.

Es gibt auch eine Konstruktionsmethode, bei der CharsetDecoder verwendet wird:

CharsetDecoder cd = charset.newDecoder();
InputStreamReader reader = new InputStreamReader(in, cd);

Wenn zu diesem Zeitpunkt keine Übereinstimmung vorliegt, löst eine Ausnahme aus :

java.nio.charset.MalformedInputException: Input length = 1
    at java.nio.charset.CoderResult.throwException(CoderResult.java:277)
    at sun.nio.cs.StreamDecoder.implRead(StreamDecoder.java:338)
    at sun.nio.cs.StreamDecoder.read(StreamDecoder.java:177)
        ....

Auf diese Weise kann es zur Zeichensatzerkennung verwendet werden.

2. Verwendung von AutoCharsetReader

AutoCharsetReader ist eine Klasse, die auf den oben genannten Prinzipien basiert und von erbt 🎜>Reader kann als charsetadaptiver InputStreamReader angesehen werden.

AutoCharsetReader ar= new AutoCharsetReader(in);char c = ar.read();
...char[] cbuf = new char[2000];
ar.read(cbuf);
...
BufferedReader br = new BufferedReader(ar);
br.readLine();
...

Ein weiteres Beispiel ist Lucenes TextField, das einen Volltext-

-Index erstellt, der einen Reader-Parameter erfordert direkt:

Field field = new TextField("content", new AutoCharsetReader(file));

Nachdem Sie die Datei gelesen haben, können Sie den Zeichensatz der Datei abrufen. Beachten Sie, dass dies nach dem Lesen geschieht.

Charset charset = ar.charset();

3. Alternativer Zeichensatz

Aufgrund der Verwendung mehrerer versucht, den Zeichensatz zu finalisieren, daher müssen Alternativen bereitgestellt werden. Die vom aktuellen Code bereitgestellten standardmäßigen alternativen Zeichensätze lauten wie folgt:

    private final static String[] _defaultCharsets = {        
            "US-ASCII",            "UTF-8",            "GB2312", 
            "BIG5",            "GBK",            "GB18030",                
            "UTF-16BE", 
            "UTF-16LE", 
            "UTF-16",            "UNICODE"};

Es werden auch Methoden zum Ändern des alternativen Zeichensatzes bereitgestellt. Beispiel:

AutoCharsetReader ar = new AutoCharsetReader(in).setCharset("ascii", "utf-8", "gbk");

Die Reihenfolge wirkt sich auf die Erkennungsergebnisse aus. Wenn beispielsweise GBK vor GB2312 liegt, kann das Erkennungsergebnis nur GBK und nicht GB2312 sein, da GBK GB2312 enthält.

4. Nur zur Zeichensatzerkennung

kann nur zur Zeichensatzerkennung verwendet werden:

charset = AutoCharsetReader.quickDetect(file.toURI().toURL(), charsets);
or:
charset = AutoCharsetReader.deepDetect(file.toURI().toURL(), charsets, stops);

quickDetect liest nur ein Zeichen und ist für Dateien mit einem einzelnen Zeichensatz geeignet. Bei HTML müssen Sie möglicherweise alles lesen, um den Zeichensatz zu kennen. Verwenden Sie daher deepDetect. Der Parameter

charsets kann null sein.

Wenn für einen Satz von Dateien die bekannten möglichen Zeichensätze „ascii“, „utf-8“, „gb2312“ und „gbk“ sind, wird erkannt, dass der Zeichensatz einer Datei ist B. „utf-8“ oder „gbk“, kann das Ergebnis sofort zurückgegeben werden, ohne dass die Datei weiter gelesen werden muss. Zu diesem Zeitpunkt können Sie den Parameter

stops {"utf-8", "gbk"} zuweisen. Wenn es null ist, müssen Sie alles lesen.

5. Andere

Um die Effizienz zu verbessern, gibt es in dieser Klasse keinen Puffer Ich muss io noch einmal lesen. Die Standardpuffergröße ist 8192. Sie können die

Puffergröße beim Erstellen des Objekts selbst definieren. Wenn der Parameter kleiner als 16 ist, setzen Sie ihn auf 16.

Das obige ist der detaillierte Inhalt vonVerwenden Sie java.nio.charset.CharsetDecoder, um Zeichensatzmethoden automatisch zu identifizieren. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!