字符编码 - java读取文件的编码问题：有无BOM的UTF-8和GBK

Question

java在读取文件的时候怎么去判断文件的编码：
有三种编码方式：有BOM的UTF-8、无BOM的UTF-8、GBK
在网上找了很多，都不是很准确的判断
特别是对无BOM的UTF-8和GBK的判断，有些例子要把文件读几遍，这样效率太低，不实用，有没有什么好的解决方法，请指教

Answer 1

It is true that files uploaded by users may be encoded in various ways. There is no guarantee of a perfect solution, but it can provide maximum file encoding detection based on statistical principles.

I have used this cpdetector which basically solves my needs.

Attached is a code example:

/**
 * 获取URL的编码
 * 
 * @param url
 * @return
 */
public static String getUrlEncode(URL url) {
    /*
     * detector是探测器，它把探测任务交给具体的探测实现类的实例完成。
     * cpDetector内置了一些常用的探测实现类，这些探测实现类的实例可以通过add方法 加进来，如ParsingDetector、
     * JChardetFacade、ASCIIDetector、UnicodeDetector。
     * detector按照“谁最先返回非空的探测结果，就以该结果为准”的原则返回探测到的
     * 字符集编码。使用需要用到三个第三方JAR包：antlr.jar、chardet.jar和cpdetector.jar
     * cpDetector是基于统计学原理的，不保证完全正确。
     */
    CodepageDetectorProxy detector = CodepageDetectorProxy.getInstance();
    /*
     * ParsingDetector可用于检查HTML、XML等文件或字符流的编码,构造方法中的参数用于
     * 指示是否显示探测过程的详细信息，为false不显示。
     */
    detector.add(new ParsingDetector(false));
    detector.add(new ByteOrderMarkDetector());
    /*
     * JChardetFacade封装了由Mozilla组织提供的JChardet，它可以完成大多数文件的编码
     * 测定。所以，一般有了这个探测器就可满足大多数项目的要求，如果你还不放心，可以
     * 再多加几个探测器，比如下面的ASCIIDetector、UnicodeDetector等。
     * 
     * 用到antlr.jar、chardet.jar
     */
    detector.add(JChardetFacade.getInstance());
    // ASCIIDetector用于ASCII编码测定
    detector.add(ASCIIDetector.getInstance());
    // UnicodeDetector用于Unicode家族编码的测定
    detector.add(UnicodeDetector.getInstance());


    java.nio.charset.Charset charset = null;
    try {
        charset = detector.detectCodepage(url);
    } catch (Exception ex) {
        ex.printStackTrace();
    }
    if (charset != null) {
        return charset.name();
    }
    return null;
}

public static void main(String[] args) {
    try {
        URL url = new URL("http://www.baidu.com");
        String encode = getUrlEncode(url);
        System.out.println(encode);// UTF-8
    } catch (MalformedURLException e) {
        e.printStackTrace();
    }
}

I won’t give you a way to write a file. File has a way to get the URL.

I imported these jars when using them.

cpdetector_1.0.10.jar,antlr-2.7.4.jar,chardet-1.0.jar

If you can’t find it, you can leave your email and I can send it to you.

Answer 2

Using InputStreamReader, encoding can be specified.

Answer 3

Can’t find a perfect solution yet