java - 下载不同编码的在线文本

Question

我正在下载在线文本，可以由用户上传，因此文本可以是UTF-8、ISO-8859-1等...

问题是我不知道用户使用的是哪种编码，如果用户上传了 UTF-8 文本，它工作得很好，但如果用户上传了带有重音符号的 ISO-8859-1 文本(á é 等..)这些字符未正确显示。

我尝试将文本编码强制为 UTF-8，但它并不适用于所有情况 (buffer.toString("UTF-8"))

这是我的代码:

javaUrl = new URL(URLParser.parse(textResource.getUrlStr()));
                    connection = javaUrl.openConnection();                      
                    connection.setConnectTimeout(2000);
                    connection.setReadTimeout(2000);
                    InputStream input = new BufferedInputStream(connection.getInputStream());
                    ByteArrayOutputStream buffer = new ByteArrayOutputStream();
                    int nRead;
                    try{        
                        byte [] data = new byte [1024];
                        while ((nRead = input.read(data, 0, data.length)) != -1) {
                            buffer.write(data, 0, nRead);
                        }
                        buffer.flush();
                        total = buffer.toString();                  
                    }finally{
                        input.close();
                        buffer.close();
                    }

Answer 1

由于您有多种可能的编码，并且您不知道哪种编码是正确的，因此您别无选择，只能在此处使用 CharsetDecoder。

计划:

• 从连接中打开InputStream；
• 将所有内容读取到byte[]数组中；
• 尝试不同的编码，直到找到合适的编码。

这是查找正确编码的一种可能方法:

public boolean isCharset(final Charset charset, final byte[] contents)
    throws IOException
{
    final CharsetDecoder decoder = charset.newDecoder()
        .onMalformedInput(CodingErrorAction.REPORT);
    final ByteBuffer buf = ByteBuffer.wrap(contents);

    try {
        decoder.decode(buf);
        return true;
    } catch (CharacterCodingException ignored) {
        return false;
    }
}

尝试使用一组不同的编码(最好从 UTF-8 开始)。