java - 如何从网站 GET 请求中获取包含正确文本的字符串，避免特殊的 HTML 代码？

Question

我使用 GET 请求通过 HttpConnection 对象获取西类牙网站代码。当我通过控制台(网站代码)打印输出时，西类牙语字符不存在。相反，有一些“奇怪”的角色。

假设网站编码为“UTF-8”()，但我不知道它如何处理西类牙字符(á、ñ等)

我尝试了很多东西，比如在 setRequestProperty 方法中以 UTF-8 定义字符集属性，从 char 数组构建字符串，使用 UTF-8 特定编码从字节数组构建字符串，因为我在某处读到 Java String 类默认以 UTF-16 构建字符串，但没有。它仍然给了我所有那些奇怪的字符。

我也尝试使用 ISO-8859-1 编码进行相同的操作，但结果相同，而且没有任何编码规范。

好吧，我知道这些角色确实遵循某种模式，我可以创建一个类来“翻译”它们，但我很确定在此之前还有更好的选择。

String myMethod() {

    con.setRequestMethod("GET");
    con.setRequestProperty("User-Agent", "Mozilla/5.0");
    con.setRequestProperty("Content-Type", "application/x-www-form-urlencoded;charset=UTF-8");
    con.setUseCaches(false);
    con.setDoInput(true);
    reader = new BufferedReader(new InputStreamReader(con.getInputStream(), "UTF-8"));

    return reader.lines().collect(Collectors.joining("\n"));

}

这就是所发生情况的一个例子。

网站上写的一句话(我想得到):

“Equipo de protección otoño de toda la estaciòn”

我实际上从输出中得到的句子:

"Equipo de protección otoño de toda la estaciòn"

Answer 1

我使用了 Apache Commons 中的 StringEscapeUtils (https://mvnrepository.com/artifact/commons-lang/commons-lang/2.6)。

String dirty = "Equipo de protección otoño de toda la estaciòn";
String clean = StringEscapeUtils.unescapeHtml(dirty);

输出:Equipo de protección otoño de toda la estaciòn

希望这有帮助。祝你好运。如果您有任何后续疑问，请发表评论。